[論文レビュー] Cross-lingual Alignment vs Joint Training: A Comparative Study and A Simple Unified Framework

Zi-Rui Wang, Jiateng Xie+4 more|arXiv (Cornell University)|Oct 10, 2019

Topic Modeling参考文献 59被引用数 9

ひとこと要約

本稿では、自己教師あり共同学習と多言語間アライメントを統合した統一フレームワークを提案し、多言語表現学習を向上させることを目的としている。初期化に共同学習を用い、その後アライメントによる精練を行うことで、MUSE二国語語彙誘導およびCoNLL多言語間NERベンチマークにおいて、独立したアライメント手法や共同学習手法を上回る最先端の性能を達成した。

ABSTRACT

Learning multilingual representations of text has proven a successful method for many cross-lingual transfer learning tasks. There are two main paradigms for learning such representations: (1) alignment, which maps different independently trained monolingual representations into a shared space, and (2) joint training, which directly learns unified multilingual representations using monolingual and cross-lingual objectives jointly. In this paper, we first conduct direct comparisons of representations learned using both of these methods across diverse cross-lingual tasks. Our empirical results reveal a set of pros and cons for both methods, and show that the relative performance of alignment versus joint training is task-dependent. Stemming from this analysis, we propose a simple and novel framework that combines these two previously mutually-exclusive approaches. Extensive experiments demonstrate that our proposed framework alleviates limitations of both approaches, and outperforms existing methods on the MUSE bilingual lexicon induction (BLI) benchmark. We further show that this framework can generalize to contextualized representations such as Multilingual BERT, and produces state-of-the-art results on the CoNLL cross-lingual NER benchmark.

研究の動機と目的

• 複数の多言語NLPタスクにわたる多言語間アライメントと共同学習手法を体系的に比較すること。
• 異なるタスク設定における各パラダイムの長所と短所を分析すること。
• アライメントと共同学習の利点を統合した統一フレームワークを開発すること。
• アライメントが自己教師あり共同学習を改善できるかどうか、および教師あり共同学習と比べてどのように差がつくかを評価すること。
• 提案されたフレームワークをMultilingual BERTのような文脈依存表現へと拡張すること。

提案手法

• 共通の語彙を有する連結された単言語コーパスを用いて、自己教師あり共同学習により多言語表現を初期化する。
• 多言語間アライメントをリファインメントステップとして用い、共同学習で得られた表現を共有ベクトル空間にマッピングする。
• 語ごとのマッチングや分布マッチングなどの自己教師ありアライメント技術を用いて、共同埋め込みを精錬する。
• 設定に応じて、単言語または多言語の教師情報を使ってアライメント部を学習する。
• 静的単語埋め込みおよびMultilingual BERTのような文脈依存表現の両方に対して、統一フレームワークを適用する。
• 標準的な微調整手順を用いて、最終的な表現を下流タスクで微調整する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり機械翻訳において観察された共同学習のアドバンテージが、他の多言語タスクにも一般化するか？
• RQ2 アライメント技術は、自己教師あり共同学習で得られた表現の質を向上させることができるか？
• RQ3 同じ水準の教師情報（例：二国語辞書）を用いる教師あり共同学習手法と比較して、提案されたハイブリッドフレームワークはどのように差がつくか？
• RQ4 このフレームワークは、Multilingual BERTのような文脈依存表現に対しても効果的に適用可能か？
• RQ5 ハイブリッドアプローチが、独立したアライメントと共同学習の両方を上回る条件は何か？

主な発見

• アライメントと共同学習の相対的なパフォーマンスはタスクに依存し、自己教師あり機械翻訳では共同学習が優れており、二国語語彙誘導ではアライメントが優れている。
• 提案された統一フレームワークは、MUSE二国語語彙誘導ベンチマークにおいて、ベースラインのアライメント手法および共同学習手法を上回った。
• CoNLL多言語間NERベンチマークでは、Multilingual BERTに適用した際、最先端の結果を達成した。
• ハイブリッドアプローチは文脈依存表現に対しても効果的に一般化され、多様なNLPタスクで一貫した向上を示した。
• 無教師アライメントのみを用いても、フレームワークは性能を顕著に向上させた。これは、アライメントによるリファインメントが共同学習の出力を強化することを示している。
• 異なる言語ペアやタスクにおいてもロバストであるため、特定の設定に限定されない広範な適用可能性を示している。