[論文レビュー] Cross-Lingual Word Embeddings for Turkic Languages

Elmurod Kuriyozov, Yerai Doval+1 more|arXiv (Cornell University)|May 17, 2020

Natural Language Processing Techniques被引用数 10

ひとこと要約

本稿では、トルコ語、ウズベク語、アゼルバイジャン語、カザフ語、キルギス語の5つの低リソース・トゥルク語族言語に対する、最初の包括的で、単語埋め込みの多言語間埋め込みに関する研究を提示する。単語埋め込みは、モノリンガルなfastText埋め込みと、最先端のアライメント技術（MUSE、VecMap、Meemi）を用いて実行される。アライメントにおいて、リソース豊富で関連性の高い言語（トルコ語）を用いることで、二語辞書誘導およびセンチメント分析の両タスクで性能が著しく向上することが示された。特にMeemiによるVecMapの最適化が最も優れた結果をもたらし、語形に豊富な低リソース言語が、関連性の高い高リソース言語を介して多言語間の知識移転を効果的に得られることを実証した。

ABSTRACT

There has been an increasing interest in learning cross-lingual word embeddings to transfer knowledge obtained from a resource-rich language, such as English, to lower-resource languages for which annotated data is scarce, such as Turkish, Russian, and many others. In this paper, we present the first viability study of established techniques to align monolingual embedding spaces for Turkish, Uzbek, Azeri, Kazakh and Kyrgyz, members of the Turkic family which is heavily affected by the low-resource constraint. Those techniques are known to require little explicit supervision, mainly in the form of bilingual dictionaries, hence being easily adaptable to different domains, including low-resource ones. We obtain new bilingual dictionaries and new word embeddings for these languages and show the steps for obtaining cross-lingual word embeddings using state-of-the-art techniques. Then, we evaluate the results using the bilingual dictionary induction task. Our experiments confirm that the obtained bilingual dictionaries outperform previously-available ones, and that word embeddings from a low-resource language can benefit from resource-rich closely-related languages when they are aligned together. Furthermore, evaluation on an extrinsic task (Sentiment analysis on Uzbek) proves that monolingual word embeddings can, although slightly, benefit from cross-lingual alignments.

研究の動機と目的

• 低リソースのトゥルク語族言語（ウズベク語、アゼルバイジャン語、カザフ語、キルギス語を含む）における自然言語処理リソースの不足に対処すること。
• 現実的な低リソース環境下で、多言語間単語埋め込みアライメント技術の実用性を評価すること。
• ウェブクローリングおよび機械翻訳データを用いて、トゥルク語族言語のための新しい二語辞書およびモノリンガル単語埋め込みを改善すること。
• 関連性の高いリソース豊富な言語（トルコ語）を参照として多言語間アライメントを実施することで、内在的および外在的NLPタスクの性能が向上するかどうかを評価すること。
• トゥルク語族言語のための新しい高品質な二語辞書およびモノリンガル単語埋め込みを公開すること。

提案手法

• Google Translate APIを用いて、5つのトゥルク語族言語のための新しい二語辞書を収集した。
• Baisaら（2012）の「トルコ語語彙集」を用いて、各トゥルク語についてモノリンガルなfastText単語埋め込みを訓練した。
• 3つの最先端の多言語間アライメント手法（MUSE、VecMap、Meemi）を用いて、モノリンガル埋め込み空間をアライメントした。
• MeemiがVecMapのアライメントを最適化することで、語形に豊富な低リソース言語の性能を向上させた。
• 二語辞書誘導を用いてアライメント品質を評価し、語対の上位-k正答率を測定した。
• RNNモデルを用いたセンチメント分析による外在的評価を、ウズベク語のデータセットで実施した。

実験結果

リサーチクエスチョン

• RQ1 英語およびトルコ語から、低リソースのトゥルク語族言語へ知識を効果的に転送できる多言語間単語埋め込みアライメント技術は存在するか？
• RQ2 関連性の高いリソース豊富なトゥルク語（トルコ語）を参照言語として用いることで、英語を参照にした場合よりも優れた結果が得られるか？
• RQ3 新たに収集した二語辞書およびモノリンガル埋め込みは、既存のリソースと比較して、品質およびアライメントへの有用性において優れているか？
• RQ4 多言語間アライメントは、低リソース環境下での下流NLPタスク（例：センチメント分析）の性能をどの程度向上させるか？
• RQ5 MUSE、VecMap、Meemiの中では、どれが語形に豊富な低リソースのトゥルク語族言語に対して最も優れた性能を示すか？

主な発見

• MeemiによるVecMapアライメントモデルの最適化が、5つのすべてのトゥルク語族言語で二語辞書誘導タスクにおいて最高の性能を達成した。
• 新たに収集した二語辞書およびモノリンガル単語埋め込みは、従来のリソースよりもアライメント品質が優れていた。
• トルコ語を参照言語として多言語間アライメントを実施した結果、英語を参照にした場合よりも優れた結果が得られ、言語的類縁性が知識転送を促進することが示された。
• ウズベク語のセンチメント分析タスクにおいて、Meemiでアライメントされた埋め込みを用いて訓練したRNNモデルは、翻訳済みデータセットでテストF1スコア0.8876を達成し、ベースラインのfastTextモデル（0.8832）をわずかに上回った。
• 結果から、低リソース言語におけるモノリンガル単語埋め込みが、関連性の高い高リソース言語を介した多言語間アライメントによって恩恵を受けることが確認された。
• 本研究は、語形に豊富な低リソースのトゥルク語族言語において、多言語間アライメントが実用的かつ効果的であることを示し、特にMeemi on VecMapが最も効果的な手法であることを実証した。