[論文レビュー] "A Passage to India": Pre-trained Word Embeddings for Indian Languages

Saurav Kumar, Saunack Kumar+2 more|arXiv (Cornell University)|Dec 27, 2021

Topic Modeling参考文献 25被引用数 24

ひとこと要約

本論文は、14種のインド諸言語を対象とした、436種の事前学習済み単語埋め込みの包括的リポジトリを紹介している。非文脈的（FastText、Word2Vec、GloVe）、文脈的（ELMo、BERT、XLM）、多言語的（MUSE、XLM）モデルを含む。インド諸言語における高品質で大規模な単言語および多言語コーパスの不足に応じ、多様で拡張されたコーパスを収集・訓練し、評価ではFastTextがPOSおよびNERタスクで他の非文脈的モデルを上回ることを示した。

ABSTRACT

Dense word vectors or 'word embeddings' which encode semantic properties of words, have now become integral to NLP tasks like Machine Translation (MT), Question Answering (QA), Word Sense Disambiguation (WSD), and Information Retrieval (IR). In this paper, we use various existing approaches to create multiple word embeddings for 14 Indian languages. We place these embeddings for all these languages, viz., Assamese, Bengali, Gujarati, Hindi, Kannada, Konkani, Malayalam, Marathi, Nepali, Odiya, Punjabi, Sanskrit, Tamil, and Telugu in a single repository. Relatively newer approaches that emphasize catering to context (BERT, ELMo, etc.) have shown significant improvements, but require a large amount of resources to generate usable models. We release pre-trained embeddings generated using both contextual and non-contextual approaches. We also use MUSE and XLM to train cross-lingual embeddings for all pairs of the aforementioned languages. To show the efficacy of our embeddings, we evaluate our embedding models on XPOS, UPOS and NER tasks for all these languages. We release a total of 436 models using 8 different approaches. We hope they are useful for the resource-constrained Indian language NLP. The title of this paper refers to the famous novel 'A Passage to India' by E.M. Forster, published initially in 1924.

研究の動機と目的

• インド諸言語における高品質で大規模な単言語および多言語コーパスの不足が、効果的なNLPモデルの学習を妨げているという問題に対処すること。
• 14の公式インド言語向けに、統合的かつ公開可能な事前学習済み単語埋め込みリポジトリを構築し、低リソースNLP研究を支援すること。
• 非文脈的、文脈的、多言語的技術の多様な埋め込み手法の性能を、POSタギング、XPOS、UPOS、NERなどの標準NLPタスクで評価すること。
• 標準的なウィキペディアダンプを超えた、収集・洗練された拡張コーパスで訓練されたモデルを公開することで、インド語NLPの最先端技術を向上させること。
• 転移学習、ファインチューニング、多言語間転移を可能にする基盤を提供することで、今後の研究を促進すること。

提案手法

• 14種のインド言語向けに、ウィキメディアダンプや追加のソースを含む単言語コーパスを収集・収集し、データ不足を補う。
• FastText、Word2Vec（スキップグラムおよびCBOW）、GloVeを用いて、次元50、100、200、300の384種の非文脈的埋め込みを訓練した。
• すべての14言語の多言語コーパスを統合した上で、14種のELMo、14種のBERT、1種の多言語XLMモデルを訓練し、14種の文脈的埋め込みを生成した。
• MUSEおよびXLMを用いて、すべての言語ペアを共通のベクトル空間に射影することで、182種の多言語埋め込みを生成した。
• トランスフォーマー基盤のモデル用に、バイトペアエンコーディング（BPE）を用いた前処理を行い、元の実装からの標準的なハイパーパrameterを適用した。
• 標準化されたデータセットを用いてXPOS、UPOS、NERタスクでモデルを評価し、F1スコアおよびパープレキシティで性能を測定した。

実験結果

リサーチクエスチョン

• RQ1 非文脈的単語埋め込み（FastText、Word2Vec、GloVe）は、インド諸言語のPOSおよびNERタスクでどのように性能を発揮するか？
• RQ2 文脈的埋め込み（ELMo、BERT、XLM）は、インド諸言語の下流NLPタスクで非文脈的モデルに比べてどの程度性能を向上させるか？
• RQ3 多言語埋め込み（MUSE、XLM）は、言語的性質やコーパスサイズが異なるインド諸言語間で、転移学習をどの程度効果的に可能にするか？
• RQ4 コーパスサイズと言語的多様性は、低リソースインド言語向けの事前学習済み埋め込みの質にどのような影響を及けるか？
• RQ5 同じ程度のコーパスサイズを有するタミル語とテルグ語では、埋め込み評価で性能に顕著な差が生じるが、これは言語固有要因を示唆しているのか？

主な発見

• FastTextはXPOSおよびUPOSタギングタスクでGloVeおよびWord2Vecを上回り、インド諸言語のような屈曲的言語ではサブワード情報が極めて重要であることが示された。
• 同程度のコーパスサイズであったにもかかわらず、テルグ語埋め込みはすべての評価タスクでタミル語埋め込みを一貫して上回った。これは、言語構造やデータ品質の差が、単なるサイズを超えた要因である可能性を示唆している。
• 多言語XLMモデルは、マスクド言語モデルの精度が31.8%、次文予測精度が67.9%を達成し、インド諸言語における多言語事前学習の可能性を裏付けた。
• ELMoモデルは非文脈的モデルに比べて低いパープレキシティスコアを達成し、文脈をより適切にモデル化できることを確認したが、言語ごとに性能にばらつきが見られた。
• 本リポジトリには、非文脈的384種、ELMo 14種、BERT 14種、XLM 1種、多言語182種の合計436種の異なるモデルが含まれており、すべて研究利用のために公開された。
• 評価結果から、モデルの質がコーパスサイズにのみ依存するわけではないことが明らかになった。これは、同程度のデータ量であってもタミル語とテルグ語の間で性能格差が生じるという事実が裏付けている。