[論文レビュー] Unsupervised Cross-lingual Transfer of Word Embedding Spaces

Ruochen Xu, Yiming Yang+2 more|arXiv (Cornell University)|Sep 10, 2018

Topic Modeling被引用数 4

ひとこと要約

この論文は、分布マッチングにSinkhorn距離を用い、バックトランスレーション損失を併用することで、双方向的なマッピングを共同最適化する非教師あり手法を提案する。平行コーパスや二言語語彙索引が一切不要でありながら、二言語語彙索引およびクロスリンガル類似度タスクで最先端の性能を達成しており、多様な言語対において強く頑健な性能を示している。

ABSTRACT

Cross-lingual transfer of word embeddings aims to establish the semantic mappings among words in different languages by learning the transformation functions over the corresponding word embedding spaces. Successfully solving this problem would benefit many downstream tasks such as to translate text classification models from resource-rich languages (e.g. English) to low-resource languages. Supervised methods for this problem rely on the availability of cross-lingual supervision, either using parallel corpora or bilingual lexicons as the labeled data for training, which may not be available for many low resource languages. This paper proposes an unsupervised learning approach that does not require any cross-lingual labeled data. Given two monolingual word embedding spaces for any language pair, our algorithm optimizes the transformation functions in both directions simultaneously based on distributional matching as well as minimizing the back-translation losses. We use a neural network implementation to calculate the Sinkhorn distance, a well-defined distributional similarity measure, and optimize our objective through back-propagation. Our evaluation on benchmark datasets for bilingual lexicon induction and cross-lingual word similarity prediction shows stronger or competitive performance of the proposed method compared to other state-of-the-art supervised and unsupervised baseline methods over many language pairs.

研究の動機と目的

• 並列コーパスや二言語語彙索引が利用できない低リソース言語におけるクロスリンガル単語埋め込みのアライメントの課題に対処すること。
• クロスリンガルの監視情報が一切ない状態で、モノリンガル単語埋め込み間の意味的マッピングを学習する手法を開発すること。
• クロスリンガル転送ベンチマークにおいて、既存の非教師ありおよび教師ありベースラインを上回る頑健性と性能を向上させること。
• 前向きおよび逆向きの翻訳マッピングを同時に最適化することで一貫性を強化し、誤差の蓄積を低減すること。

提案手法

• この手法は、ニューラルネットワークを用いて、両方向の変換された単語埋め込み間の分布的類似度を測る微分可能で明確な指標としてSinkhorn距離を計算する。
• 2つの目的を共同で最適化する：Sinkhorn距離による分布マッチングと、2段階翻訳後の再構成誤差を最小化するバックトランスレーション損失。
• バックプロパゲーションによりエンドツーエンドで学習され、Sinkhorn距離は最適輸送問題を近似的に解く微分可能なニューラルレイヤーとして実装される。
• フレームワークは対称的であり、言語AからBへの変換とBからAへの変換を同時に学習することで、両方向での一貫性を保証する。
• 平行文書、二言語辞書、人的アノテーションによる監視情報は一切不要で、モノリンガル単語埋め込みのみに依存する。
• 下流の評価のための類似度スコアとして、変換された埋め込みとターゲット単語ベクトル間のコサイン類似度を用いる。

実験結果

リサーチクエスチョン

• RQ1 完全に非教師ありの手法が、並列データや二言語語彙索引が一切ない状況でも、クロスリンガル単語埋め込み転送で競争力のある性能を達成できるか？
• RQ2 Sinkhorn距離を用いた双方向最適化は、単方向または最近傍探索ベースの手法と比べて、頑健性と正確性の面でどのように異なるか？
• RQ3 バックトランスレーション損失を導入することで、分布マッチングのみに依存する場合と比較して、学習されたマッピングの質が向上するか？
• RQ4 特に低リソース特性を持つ言語対において、この手法はどのように性能を発揮するか？
• RQ5 標準ベンチマークで測定した場合、容易な言語対と困難な言語対の両方に対して、モデルは十分に一般化できるか？

主な発見

• 提案手法は、二言語語彙索引タスクのLEX-Zベンチマークで最先端の性能を達成し、他の非教師あり手法を上回り、いくつかの言語対では教師ありベースラインと同等またはそれを上回っている。
• より高品質な監視情報と大きな候補集合を有するLEX-Cデータセットにおいても、同手法は強く性能を発揮しており、特にde-en や fa-en といった困難な言語対で顕著である。
• クロスリンガル単語類似度タスク（Conneau et al., 2017）において、ピアソン相関係数0.71を達成し、最良の教師あり手法と同等の性能を示し、他の非教師ありモデルを上回っている。
• 言語対や翻訳方向にかかわらず、一貫した性能を示しており、特にソース言語にターゲット言語よりも多くの固有語が存在する場合でも安定した結果を示している。
• KLダイバージェンスや最近傍探索マッチングと比較して、Sinkhorn距離の使用により、より安定的かつ高品質なマッピングが得られ、アブレーションおよび比較分析によって裏付けられている。
• 双方向学習スキームにより、誤差の蓄積が著しく低減され、バックトランスレーション損失が低く抑えられ、再構成された埋め込みの整合性が高く保たれていることが実証された。