[論文レビュー] Loss in Translation: Learning Bilingual Word Mapping with a Retrieval Criterion

Armand Joulin, Piotr Bojanowski+3 more|arXiv (Cornell University)|Apr 20, 2018

Natural Language Processing Techniques参考文献 19被引用数 19

ひとこと要約

本稿では、二語翻訳ベクトルの整合性を向上させるために、従来の二乗損失に代わってCSLS検索基準を直接最適化する、RCSLSと呼ばれる新しいエンド・ツー・エンドの学習目的を提案する。凸緩和と射影勾配降下法を用いることで、特に英語・中国語のような言語対が遠く離れている場合でも、語彙翻訳ベンチマークで最先端の性能を達成し、直交Procrustes法に比べてNN基準で最大+6.1%、CSLS基準で+3.5%の向上を達成する。

ABSTRACT

Continuous word representations learned separately on distinct languages can be aligned so that their words become comparable in a common space. Existing works typically solve a least-square regression problem to learn a rotation aligning a small bilingual lexicon, and use a retrieval criterion for inference. In this paper, we propose an unified formulation that directly optimizes a retrieval criterion in an end-to-end fashion. Our experiments on standard benchmarks show that our approach outperforms the state of the art on word translation, with the biggest improvements observed for distant language pairs such as English-Chinese.

研究の動機と目的

• 二語翻訳マッピングにおける学習損失（二乗損失）と推論基準（例：CSLS）の不一致を解消すること。
• CSLS や ISF のような後処理補正に依存せず、検索ベースの目的関数を直接最適化することで、語彙翻訳の性能を向上させること。
• シード語彙を超えた非教師あり語彙表現を統合できるエンド・ツー・エンドの学習を可能にすること。
• 直交性制約を除去することで、マッピング品質が向上するかどうかを検証すること。
• 標準的な二語翻訳ベンチマークで最先端の性能を達成すること。

提案手法

• CSLS基準の凸緩和を、エンド・ツー・エンド最適化に適した微分可能な学習目的として提案する。
• 射影勾配降下法を用いて緩和されたCSLS目的関数を最適化し、効率的な学習を可能にする。
• 推論時補正を不要にする統合的なフレームワークを導入し、トレーニング中に直接検索性能を最適化する。
• モノリンガルデータからの非教師あり語彙表現を活用し、シード語彙を超えた一般化を向上させる。
• 従来の二乗損失に代わり、下流の推論とより整合性の高い検索指向の損失を導入する。
• 非直交マッピングが、新しい基準で学習された場合、直交マッピングを上回ることを示す。

実験結果

リサーチクエスチョン

• RQ1 二乗損失に後処理補正を施すのではなく、トレーニング中にCSLS検索基準を直接最適化することで、二語翻訳マッピングの性能が向上するか？
• RQ2 トレーニング目的関数に非教師あり語彙表現を組み込むことで、未知語への一般化性能が向上するか？
• RQ3 高品質な二語翻訳ベクトルマッピングには直交性制約が必要か？
• RQ4 MUSE や BabylonPartners といった最先端のアプローチと比較して、提案手法は標準ベンチマークでどのように性能を発揮するか？
• RQ5 検索基準のエンド・ツー・エンド最適化により、NN および CSLS の両方の推論基準において、より優れた性能が得られるか？

主な発見

• RCSLSは28の言語対で最先端の性能を達成し、同じ語彙で学習した場合、MUSEに比べ平均精度で+3.5%向上した。
• MUSEの完全なトレーニングセットを用いた場合、RCSLSはNN基準で+6.1%、CSLS基準で+2.9%の向上を達成した。
• 英語・中国語対では65.2%の精度を達成し、先行手法を大きく上回った。
• RCSLSによって学習された非直交マッピングは、直交マッピングを上回る結果を示し、直交性が必須であるという仮定に疑問を呈した。
• 語の類似性やアナロジータスクへの影響は最小限に抑えられ、アラインドベクトルの意味的品質が保持された。
• NN基準におけるRCSLSと他の手法との性能差が大きいことから、RCSLSはドット積空間においてCSLSメトリックの性質を暗黙的に学習していることが示唆された。