[論文レビュー] Improving Supervised Bilingual Mapping of Word Embeddings.

Armand Joulin, Piotr Bojanowski+2 more|arXiv (Cornell University)|Apr 20, 2018

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文は、語の翻訳におけるハブネス問題を軽減するために、標準の二乗損失を置き換えるリtrievalベースの損失関数を提案する。この手法により、回帰誤差ではなくリtrievalの正確性を直接最適化することで、特に英語・中国語のような遠い言語対において、最先端の性能を達成する。

ABSTRACT

Continuous word representations, learned on different languages, can be aligned with remarkable precision. Using a small bilingual lexicon as training data, learning the linear transformation is often formulated as a regression problem using the square loss. The obtained mapping is known to suffer from the hubness problem, when used for retrieval tasks (e.g. for word translation). To address this issue, we propose to use a retrieval criterion instead of the square loss for learning the mapping. We evaluate our method on word translation, showing that our loss function leads to state-of-the-art results, with the biggest improvements observed for distant language pairs such as English-Chinese.

研究の動機と目的

• 監視付き二国語単語埋め込みマッピングにおけるハブネス問題に対処すること。これは、回帰精度が高水準でもリtrieval性能が低下する要因である。
• 特に英語・中国語のような遠い言語対において、単語翻訳の性能を向上させること。従来の手法では性能が劣ることが多い。
• 標準の二乗損失を、下流の翻訳タスクとより整合性の高いリtrieval指向の基準に置き換えること。
• リtrievalを直接最適化することで、多言語埋め込みアライメントにおけるより優れた一般化性と頑健性が得られることを示すこと。

提案手法

• 従来の二乗損失の代わりに、ターゲット言語空間における正しい近隣語のリtrievalを直接最適化するリtrievalベースの損失関数を導入する。
• リtrieval損失は、誤った近隣語をペナルティ化することで、モデルがソース語をターゲット埋め込み空間における正しい翻訳にマッピングするよう促進する。
• 新しい損失関数を用いて、確率的勾配降下法でエンドツーエンドに二国語埋め込み間の線形変換を学習する。
• 従来の研究と同様に、小さな二国語語彙を訓練データとして用いるが、最適化の目的関数をリtrieval品質を最優先とするように再定義する。
• 標準のベンチマークデータセットを用いて単語翻訳タスクで評価し、性能はトップ-k正解率および平均逆順位（MRR）で測定する。

実験結果

リサーチクエスチョン

• RQ1 二乗損失をリtrievalベースの損失に置き換えることで、二国語埋め込みマッピングにおける単語翻訳性能が向上するか？
• RQ2 提案手法は、英語・中国語のような遠い言語対において、既存の手法と比較してどの程度の性能を示すか？
• RQ3 リtrievalベースの損失は、多言語単語埋め込みアライメントにおけるハブネス問題をどの程度軽減できるか？
• RQ4 リtrievalを直接最適化することで、間接的な回帰ベース学習に比べてより優れた一般化性能が得られるか？

主な発見

• 提案されたリtrievalベースの損失は、単語翻訳ベンチマークで最先端の性能を達成し、標準の二乗損失を用いる手法を上回る。
• 特にハブネス問題が顕著に現れる遠い言語対、例えば英語・中国語において、最大の向上が観察された。
• この手法はハブネス効果を顕著に低減し、ターゲット言語空間におけるより信頼性が高く正確な近隣語リtrievalを実現した。
• 回帰誤差の最適化のみに焦点を当てた手法に比べ、リtrieval性能を直接最適化することで、より優れた下流タスクの結果が得られることを示した。