[論文レビュー] Improving Cross-Lingual Word Embeddings by Meeting in the Middle

Yerai Doval, José Camacho-Collados+2 more|ORCA Online Research @Cardiff (Cardiff University)|Aug 27, 2018

Topic Modeling参考文献 47被引用数 12

ひとこと要約

本稿では、二国語の単語ペアをその平均ベクトル表現へとマッピングする後処理アライメント変換を適用することで、二国語単語埋め込みの新規な精錬手法を提案する。この手法は、二国語および単語言語の下流タスクの両方で性能を向上させ、最新の手法を上回る。この手法は、二国語辞書誘導、語の類似度、二国語ハイパニム発見のベンチマークで、最先端のモデルを上回る性能を示した。

ABSTRACT

Cross-lingual word embeddings are becoming increasingly important in multilingual NLP. Recently, it has been shown that these embeddings can be effectively learned by aligning two disjoint monolingual vector spaces through linear transformations, using no more than a small bilingual dictionary as supervision. In this work, we propose to apply an additional transformation after the initial alignment step, which moves cross-lingual synonyms towards a middle point between them. By applying this transformation our aim is to obtain a better cross-lingual integration of the vector spaces. In addition, and perhaps surprisingly, the monolingual spaces also improve by this transformation. This is in contrast to the original alignment, which is typically learned such that the structure of the monolingual spaces is preserved. Our experiments confirm that the resulting cross-lingual embeddings outperform state-of-the-art models in both monolingual and cross-lingual evaluation tasks.

研究の動機と目的

• 既存の二国語アライメント手法が単語言語空間の構造を保持するという制限を解決する。これは、言語固有の差を反映しない可能性がある。
• 初期アライメント後の残存する二国語の類義語間のギャップを解消するため、対称的な変換を導入する。
• 共通の中点へのマッピングを通じて、アライメント済み埋め込みの精錬により、二国語および単語言語の両方の性能を向上させる。
• 初期アライメントプロセスを変更せずに、単純な後処理アライメント変換によって顕著な性能向上を達成できることを示す。
• 軽量で学習可能な変換を用いることで、任意の事前学習済み二国語埋め込みモデルに一般化可能である手法を提供する。

提案手法

• VecMap や MUSE のような最先端の手法を用いて、事前アライメント済みの単語言語埋め込み空間を取得する。
• 各単語とその翻訳を、それらの平均ベクトル表現へとマップする学習可能な線形変換を適用する：$ \vec{v}_{\text{mid}} = \frac{1}{2}(\vec{v}_w + \vec{v}_{w'}) $。
• 小さな二国語語彙を教師信号として用い、共有空間内での語ペアの近接度を最適化することで、この変換を学習する。
• すべての語ペアに共通する変換行列を用い、平均ベクトルの目的関数に基づいて勾配降下法で学習する。
• 初期アライメント構造を保持しつつ、埋め込み空間を精錬して言語間の乖離を低減する。
• 後処理ステップとして統合することで、既存のあらゆる二国語埋め込みモデルと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 アライメント済み語ペアをその平均へと移動させることで、二国語および単語言語タスクの性能向上が図れるか？
• RQ2 提案手法の変換が、初期アライメントを上回る単語言語類似度および類似度評価の性能向上をもたらすか？
• RQ3 MUSE や VecMap などの最先端モデルと比較して、この手法は異なる言語ペアおよびデータサイズにおいて、性能と頑健性の面で優れているか？
• RQ4 複数言語への平均化戦略の拡張により、多言語設定へ一般化可能か？
• RQ5 より多くの二国語教師データを用いることで、モデルの性能が向上するか？また、一般的または高レベルの意味的関係をよりよく捉えられるか？

主な発見

• 本手法は「ミーティング・イン・ザ・ミドル」（MeeMi）と名付けられ、二国語辞書誘導（BDI）タスクで最先端の性能を達成。すべてのデータ設定において MUSE や VecMap を上回った。
• 単語言語類似度ベンチマークでは、VecMap や MUSE より最大 1.5 ポイントの向上を達成（例：英フィンランド語類似度で 7.8 対 7.0）。
• 二国語ハイパニム発見においては、2,000 個のターゲット言語例で学習した場合、VecMap よりも優れた性能を示し、1,000 個のハイポニムのうち 143 個を正しく特定した（VecMap は 111 個）。
• 元の単語言語空間構造を保持しないにもかかわらず、単語言語類似度の性能が向上した。これは、埋め込み空間が有益に再編成されたことを示している。
• より多くの二国語教師データを用いることで性能が向上し、より大きな語彙を活用してアライメント品質を精錬できることを示した。
• 平均化効果により、一般的なハイパニム（例：「person」、「citizen」）を予測する傾向が高まり、これは人間がアノテートした意味的階層と整合した。