[論文レビュー] Improving Word Translation via Two-Stage Contrastive Learning

Yaoyiran Li, Fangyu Liu+3 more|arXiv (Cornell University)|Mar 15, 2022

Natural Language Processing Techniques参考文献 63被引用数 8

ひとこと要約

本論文は、二段階の対照的学習フレームワークを提案し、二語対訳語彙誘導（BLI）を改善する。最初の段階（C1）では、自己学習を用いた対照的学習により、静的単語埋め込みを精錬する。2番目の段階（C2）では、C1の出力を負例として用い、mBERTを対照的目的関数で微調整する。この手法は最先端の性能を達成し、多様な言語対において112のBLI設定すべてで、Precision@1が最大+10ポイント向上した。

ABSTRACT

Word translation or bilingual lexicon induction (BLI) is a key cross-lingual task, aiming to bridge the lexical gap between different languages. In this work, we propose a robust and effective two-stage contrastive learning framework for the BLI task. At Stage C1, we propose to refine standard cross-lingual linear maps between static word embeddings (WEs) via a contrastive learning objective; we also show how to integrate it into the self-learning procedure for even more refined cross-lingual maps. In Stage C2, we conduct BLI-oriented contrastive fine-tuning of mBERT, unlocking its word translation capability. We also show that static WEs induced from the `C2-tuned' mBERT complement static WEs from Stage C1. Comprehensive experiments on standard BLI datasets for diverse languages and different experimental setups demonstrate substantial gains achieved by our framework. While the BLI method from Stage C1 already yields substantial gains over all state-of-the-art BLI methods in our comparison, even stronger improvements are met with the full two-stage framework: e.g., we report gains for 112/112 BLI setups, spanning 28 language pairs.

研究の動機と目的

• 静的単語埋め込み（WEs）を用いた弱教師あり二語対訳語彙誘導（BLI）を、対照的学習によるクロスリンガルマッピングの強化によって改善すること。
• mBERTのような多言語言語モデルの単語翻訳能力を、BLI指向の対照的微調整によって解放すること。
• 精錬された静的WEs（C1）と微調整されたmBERT（C2）のクロスリンガル表現を組み合わせ、優れたBLI性能を達成すること。
• 静的WEsと多言語LM表現を統合することで、単体で用いる場合よりも優れたBLI結果が得られるかどうかを検証すること。

提案手法

• C1段階では、真の翻訳ペアを正例とし、ハードネガティブ例を用いて、静的単語埋め込み間の線形クロスリンガルマップに対照的学習目的関数を適用する。
• C1フレームワークは自己学習ループを統合しており、反復的に訓練辞書を精錬し、対照的損失を用いてマップを再訓練することでマップの改善を図る。
• C2段階では、mBERTを対照的学習目的関数で微調整する。正例は真の翻訳ペア、負例はC1の出力から抽出される。
• 最終的な単語表現は、C1からのクロスリンガル静的WEとC2からの微調整済みmBERT表現を連結または統合することで得られる。
• 両段階の対照的学習では、正例ペア間の類似度を最大化し、負例ペア間の類似度を最小化する対照的損失関数が用いられる。
• フレームワークは、8種類の多様な言語と112の言語対をカバーする標準BLIベンチマークで、さまざまな設定下で評価されている。

Figure 1: An illustration of the proposed two-stage BLI approach (see § 2 ). It combines contrastive tuning on both static WEs (C1) and pretrained multilingual LMs (C2), where the static WEs are leveraged for selecting negative examples in contrastive tuning of the LM. The output of C1 and C2 is com

実験結果

リサーチクエスチョン

• RQ1 静的単語埋め込みに基づく（弱教師あり）マッピング指向BLI手法を、さらに改善できるか？
• RQ2 mBERTのような事前学習済み多言語言語モデルから、より有用なクロスリンガル単語表現を抽出する方法は何か？
• RQ3 静的単語埋め込みと多言語言語モデルのクロスリンガル表現を統合することで、BLI性能を向上させられるか？

主な発見

• C1段階のみで、112のすべてのBLI設定平均で約+8 Precision@1ポイントの向上を達成し、112のうち107の設定で改善が見られた。
• 完全な二段階フレームワーク（C1 + C2）は、112のすべてのBLI設定で向上を示し、多くの言語対でPrecision@1が最大+10ポイント向上した。
• 「čvrsto」（クロアチア語）→「firmly」（英語）のような困難な例では、C2（C1）手法により予測が失敗から成功に変わり、上位5位内での順位が「firmly」に高まった。
• HR-ENおよびIT-EN対において、C2（C1）手法は「monkeys」、「enzymes」、「peach」などの正しい翻訳を、ベースラインやC1よりも常に高い順位にランク付けしており、意味的整合性の向上が確認された。
• 低リソース言語や相違度の高い言語対を含む多様な言語対において一貫した向上が見られ、耐障害性が示された。
• C1から得られる静的WEとC2で微調整されたmBERT表現の組み合わせにより、優れた性能が得られ、複数のクロスリンガル信号源の統合による利点が裏付けられた。