[論文レビュー] Explicit Alignment Objectives for Multilingual Bidirectional Encoders

Junjie Hu, Melvin Johnson+3 more|arXiv (Cornell University)|Oct 15, 2020

Topic Modeling参考文献 31被引用数 10

ひとこと要約

本論文では、並列コーパスを用いた2つの新しい目的関数である単語レベルのアテンションアライメントと文レベルの対照学習を用いて、明示的なクロスリンガル表現のアライメントを実現する多言語双向エンコーダーamberを紹介する。XLM-R-largeと比較してパラメータが1/3.2で、単語埋め込み学習データも1/23.8であるにもかかわらず、amberはゼロショットクロスリンガル転移性能で最先端を記録し、POSタギングで最大1.1 F1スコアの向上、文検索で27.3の精度向上を達成した。

ABSTRACT

Pre-trained cross-lingual encoders such as mBERT (Devlin et al., 2019) and XLMR (Conneau et al., 2020) have proven to be impressively effective at enabling transfer-learning of NLP systems from high-resource languages to low-resource languages. This success comes despite the fact that there is no explicit objective to align the contextual embeddings of words/sentences with similar meanings across languages together in the same space. In this paper, we present a new method for learning multilingual encoders, AMBER (Aligned Multilingual Bidirectional EncodeR). AMBER is trained on additional parallel data using two explicit alignment objectives that align the multilingual representations at different granularities. We conduct experiments on zero-shot cross-lingual transfer learning for different tasks including sequence tagging, sentence retrieval and sentence classification. Experimental results show that AMBER obtains gains of up to 1.1 average F1 score on sequence tagging and up to 27.3 average accuracy on retrieval over the XLMR-large model which has 3.2x the parameters of AMBER. Our code and models are available at http://github.com/junjiehu/amber.

研究の動機と目的

• マスクド言語モデルのみで学習された多言語エンコーダーに、明示的なクロスリンガルアライメントが欠けているという問題に取り組むこと。
• 事前学習段階で並列コーパスからの監視を組み込むことで、ゼロショットクロスリンガル転移性能を向上させること。
• アテンションの一貫性と対照学習を用いて、単語レベルおよび文レベルの両方でのアライメントを強化すること。
• 少量の並列データが、大規模な単語埋め込み学習データに比べて、クロスリンガル転移において顕著に優れた性能を発揮できることを示すこと。
• 明示的なアライメント目的関数が、リソースが限られた環境下で多様なNLPタスクにわたる一般化性能を向上させることを示すこと。

提案手法

• 機械翻訳分野の知見を基に、ソース→ターゲットおよびターゲット→ソースのアテンション行列間のアテンション一貫性に基づく単語レベルのアライメント目的関数を導入する。
• ミニバッチ内の文ペアから正しい翻訳を予測するのを促す文レベルの対照学習目的関数を適用する。
• マスクド言語モデル（MLM）、翻訳言語モデル（TLM）、単語アライメント（WA）、文アライメント（SA）の4つの目的関数を組み合わせてモデルを学習する。
• 文レベルのアライメントのために、ソースおよびターゲット文を別々にエンコードし、最終層の表現を平均化して文埋め込みを形成する。
• ソースおよびターゲット文埋め込み間のコサイン類似度に基づく対照損失を用いて、アライメントを最適化する。
• 26GBの並列データと80GBの単語埋め込みWikipediaデータを用いて学習し、最終的なモデルはXLM-R-largeよりもはるかに小さい。

実験結果

リサーチクエスチョン

• RQ1 単語レベルおよび文レベルの明示的アライメント目的関数が、多言語エンコーダーにおけるゼロショットクロスリンガル転移を向上させることができるか？
• RQ2 明示的アライメントを組み込んだ小さなモデルの性能は、はるかに多くの単語埋め込み学習データで学習された巨大モデルと比べてどうなるか？
• RQ3 事前学習段階で並列データを組み込むことで、マスクド言語モデルのみに依存する場合と比較して、より良いクロスリンガル表現アライメントが達成できるか？
• RQ4 提案されたアライメント目的関数は、POSタギング、文検索、類似文分類といった多様なNLPタスクにおいて、どの程度性能を向上させるか？
• RQ5 並列学習データの量が異なる言語間で、性能向上の度合いはどのように変化するか？

主な発見

• XLM-R-largeと比較してパラメータが1/3.2であるにもかかわらず、amberはゼロショットPOSタギングにおいて平均で1.1のF1スコア向上を達成した。
• 文検索タスクでは、XLM-R-largeと比較して27.3の平均精度向上を達成し、最小限のデータでも優れたアライメント性能を示した。
• すべての目的関数（MLM+TLM+WA+SA）を組み合わせた完全モデルは、Tatoeba文検索ベンチマークで87.9%の精度を達成し、XLM-R-largeを27.3ポイント上回った。
• 26GBの並列データしか使用していないamberは、2.5TBの単語埋め込みCommonCrawlデータで学習されたXLM-R-largeを上回った。
• 特に並列データが限られる低リソース言語において性能向上が顕著で、強力な一般化性能を示した。
• アブレーションスタディの結果、単語レベルおよび文レベルのアライメント目的関数の両方が顕著に寄与しており、特に文レベルの目的関数が最大の向上をもたらした。