[論文レビュー] Unsupervised Multilingual Word Embeddings

Xilun Chen, Claire Cardie|arXiv (Cornell University)|Aug 27, 2018

Topic Modeling参考文献 15被引用数 9

ひとこと要約

本稿では、敵対的訓練と疑似教師付き精練を用いて、すべての言語対間の相関関係を活用することで、同時多様語の単語表現を学習する完全に教師なしの多言語単語埋め込みフレームワーク、MAT + MPSRを提案する。これは、並列コーパスを一切使用しないにもかかわらず、多言語単語翻訳および多言語類似度のタスクにおいて、教師ありベースラインおよび最先端の教師あり手法を上回り、特に並列コーパスが入手困難な低リソース言語（例：ペルシャ語）において優れた性能を発揮する。

ABSTRACT

Multilingual Word Embeddings (MWEs) represent words from multiple languages in a single distributional vector space. Unsupervised MWE (UMWE) methods acquire multilingual embeddings without cross-lingual supervision, which is a significant advantage over traditional supervised approaches and opens many new possibilities for low-resource languages. Prior art for learning UMWEs, however, merely relies on a number of independently trained Unsupervised Bilingual Word Embeddings (UBWEs) to obtain multilingual embeddings. These methods fail to leverage the interdependencies that exist among many languages. To address this shortcoming, we propose a fully unsupervised framework for learning MWEs that directly exploits the relations between all language pairs. Our model substantially outperforms previous approaches in the experiments on multilingual word translation and cross-lingual word similarity. In addition, our model even beats supervised approaches trained with cross-lingual resources.

研究の動機と目的

• 既存の教師なし多言語単語埋め込み手法が言語を独立して扱うという限界を是正し、複数言語間の相関関係を無視する問題に対処すること。
• 二語対訳の監視情報や並列コーパスを一切必要としない、完全に教師なしのフレームワークを構築し、すべての言語対間における共通する言語的構造を活用すること。
• 単一のピボット言語や対別モデルに依存せず、すべての言語対間の関係を明示的にモデル化することで、多言語埋め込みの質を向上させること。
• あらゆる多言語並列データを一切使用せず、多言語単語翻訳および多言語類似度タスクで最先端の性能を達成すること。
• 教師あり手法が並列データに依存するのに対し、並列データが入手困難またはノイズが多い低リソース言語ペアにおいて、教師なし多言語モデルが教師あり手法を上回ることを示すこと。

提案手法

• 本手法は二段階のフレームワークを採用する：多言語敵対的訓練（MAT）は、分布の乖離を最小化するように、敵対的学習により複数言語間の単語埋め込みを整列化する。
• MATでは、ソース言語とターゲット言語の埋め込みを区別する共通の識別器を訓練し、生成器がすべての言語で区別不能な多言語表現を生成するよう促す。
• 第二段階として、多言語疑似教師付き精練（MPSR）は、敵対的に整列化された埋め込みを用いて疑似並列ペアを生成し、対照的損失を用いてモデルを微調整することで整列性を向上させる。
• このフレームワークは、ピボットベースや対別モデルに比べて制限される範囲を超えて、すべての言語対を同時に最適化することで、多言語間の相関関係を捉える。
• モデルはモノリンガルコーパスのみを用いて訓練され、並列文や二語対訳語彙を一切必要とせず、事前学習済みのモノリンガル単語埋め込みのみを入力として使用する。
• 本手法は、敵対的整列をN言語に拡張することで、先行する教師なし二語対訳埋め込み技術を多言語環境に一般化する。

実験結果

リサーチクエスチョン

• RQ1 完全に教師なしの多言語単語埋め込みモデルは、ピボット言語や独立した対別モデルに依存する既存の教師なしベースラインを上回ることができるか？
• RQ2 すべての言語対間の相関関係を明示的にモデル化することで、独立またはピボットベースの手法と比較して、多言語表現の質が向上するか？
• RQ3 教師あり手法が大規模な並列コーパスを用いるのに対し、教師なし多言語モデルは、並列コーパスを一切使用せず、同等またはそれ以上の性能を達成できるか？
• RQ4 並列データが不足または欠落している低リソース言語において、モデルの性能はいかがであるか？
• RQ5 言語的に類似しているが、ベースライン手法では直接ペairedされていない言語対において、多言語学習フレームワークが整列性をどの程度向上させるか？

主な発見

• 提案された MAT + MPSR モデルは、多言語単語翻訳タスクで、BWE-Pivot および BWE-Direct ベースラインを上回る最先端の性能を達成した。
• SemEval-2017 の多言語単語類似度ベンチマークにおいて、MAT + MPSR はスピアマン相関係数 0.718 を達成し、教師ありの NASARI モデルを上回り、上位の教師ありシステム Luminoso に近い性能に到達した。
• ペルシャ語関連の言語対において、MAT + MPSR はすべての教師なし手法を著しく上回った。これは、教師ありモデルが Europarl の並列コーパスにアクセスできない状況下でも、低リソース言語において強力であることを示している。
• ペルシャ語-英語およびペルシャ語-ドイツ語ペアにおいて、MAT + MPSR は教師ありの Luminoso システムを上回った。これは、並列データが限られているかノイズが多い状況下では、教師なし学習がより効果的である可能性を示している。
• MAT + MPSR とベースラインとの性能差は、特に低リソース言語ペアで顕著であり、多言語知識を効果的に活用できる能力を裏付けている。
• 本手法は、言語的類似度が低い言語ペアを含め、すべての言語ペアで高い性能を維持しており、言語的多様性に対して高い頑健性を示している。