[論文レビュー] Unsupervised Hyperalignment for Multilingual Word Embeddings

Jean Alaux, Édouard Grave+2 more|arXiv (Cornell University)|Nov 2, 2018

Topic Modeling参考文献 39被引用数 41

ひとこと要約

本論文は、unsupervised bilingual word embedding alignment を多言語設定へ拡張し、共通のピボット空間へ可換な写像を学習することでトランスティブな翻訳を強制し、11言語間の間接的な語彙翻訳を改善する。

ABSTRACT

We consider the problem of aligning continuous word representations, learned in multiple languages, to a common space. It was recently shown that, in the case of two languages, it is possible to learn such a mapping without supervision. This paper extends this line of work to the problem of aligning multiple languages to a common space. A solution is to independently map all languages to a pivot language. Unfortunately, this degrades the quality of indirect word translation. We thus propose a novel formulation that ensures composable mappings, leading to better alignments. We evaluate our method by jointly aligning word vectors in eleven languages, showing consistent improvement with indirect mappings while maintaining competitive performance on direct word translation.

研究の動機と目的

• 監督なしで語彙埋め込みの多言語整列を動機づける。
• 組み合わせ可能な写像を用いて、バイリンガルの教師なし整列を複数言語へ拡張する。
• すべての言語を共通のピボット空間へ合わせることにより翻訳の推移性を担保する。
• 11言語を対象に評価し、直接翻訳と間接翻訳の品質を評価する。

提案手法

• 各言語を直交行列 Q_i によって写像し、置換 P_ij によって整列させる共通のピボット空間を定義する。
• α_ij で重み付けされた言語対間のRCSLSベースの損失の総和を最小化する多言語目的関数を用い、ピボット空間での整合的な整列を促進する。
• 2段階の最適化を採用する。まずL2損失とSinkhornに基づく割り当てで訓練し、次に効率のために速い近似的なRCSLS損失に切り替える。
• 良い初期置換 P を得るためにGromov-Wassersteinベースの方式で初期化する。
• 複数言語へ拡張するために言語対の確率的サンプリングを用いる。
• ピボットへの直接翻訳とピボットからの翻訳、及び非ピボット言語間の間接翻訳の両方を評価する。

実験結果

リサーチクエスチョン

• RQ1 非ピボット言語対の間接翻訳を維持または改善しつつ、複数言語を単一の共通空間へ教師なしで整列できるか？
• RQ2 共通のピボット空間による構成性の担保は、独立したバイリンガル整列と比較して間接翻訳の劣化を抑えるか？
• RQ3 α_ij の重み付けスキームと初期化は、多言語整列の品質とスケーラビリティにどう影響するか？
• RQ4 バイリンガルから多言語の教師なし整列へ拡張する際、直接翻訳と間接翻訳の性能のトレードオフはどうなるか？

主な発見

• UMH は、バイリンガルおよび他の多言語アプローチと比較して直接語翻訳性能で競争力を示す。
• 構成可能な多言語整列を課すと間接翻訳品質が大幅に向上し、特に遠縁の言語対で顕著である。
• 11 言語の多言語設定は、強力な直接翻訳を維持しつつ、言語ファミリ間で堅牢な間接翻訳を生み出す。
• 直接ピボット接続を優先する重み付けスキームは、言語数の増加に伴うピボット翻訳を維持するのに役立ち、間接翻訳を過度に犠牲にしない。
• Gromov-Wassersteinによる初期化と段階的最適化の組み合わせは、実用的な収束とCPU上でのスケーラブルな学習を提供します。