[論文レビュー] Multilingual BERT Post-Pretraining Alignment

Lin Pan, Chung-Wei Hang+4 more|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling参考文献 29被引用数 5

ひとこと要約

本稿では、修正された翻訳言語モデリング（TLM）目的関数を用いた自己教師あり単語レベルのアライメントと、MoCoを用いた対照的学習による文レベルのアライメントを併用することで、多言語 BERT の多言語間転移性を向上させるポストプレトレーニングアライメント（PPA）手法を提案する。この手法は、mBERT よりも XNLI でゼロショット性能を 4.7% 向上させ、XLM-R Base よりも 57% 少ないパラメータで性能を上回り、XLM の並列データの 18% 未満を用いる。

ABSTRACT

We propose a simple method to align multilingual contextual embeddings as a post-pretraining step for improved zero-shot cross-lingual transferability of the pretrained models. Using parallel data, our method aligns embeddings on the word level through the recently proposed Translation Language Modeling objective as well as on the sentence level via contrastive learning and random input shuffling. We also perform sentence-level code-switching with English when finetuning on downstream tasks. On XNLI, our best model (initialized from mBERT) improves over mBERT by 4.7% in the zero-shot setting and achieves comparable result to XLM for translate-train while using less than 18% of the same parallel data and 31% less model parameters. On MLQA, our model outperforms XLM-R_Base that has 57% more parameters than ours.

研究の動機と目的

• mBERT の多言語間転移性を再訓練なしで向上させること。
• FastAlign などのノイズの多い語アライメントツールに依存する後処理アライメント手法の限界を克服すること。
• 最小限の並列データを用いた自己教師ありでデータ効率の良いアライメント手法を開発すること。
• 多言語 NLP タスクにおけるゼロショットおよび翻訳学習設定での性能向上を図ること。
• 微調整中にコードスイッチングを適用することで、アライメントとデータ拡張を実現すること。

提案手法

• 単語レベルのアライメントには、トークン位置をリセットせず、言語埋め込みを使用しないで、元文と翻訳文を連結する修正済み TLM 目的関数を用いる。
• 文レベルのアライメントは、[CLS] トークンを対象として、モーメンタムエンコーダーと負例のキューを用いた MoCo を用いた対照的学習により実現する。
• 並列文ペア上で、TLM と対照的学習の両方の目的関数をマルチタスク学習で同時に最適化する。
• NLI や QA タスクにおける微調整時、英語とターゲット言語の間で文レベルのコードスイッチングを適用し、さらに表現をアライメントする。
• 事前学習済み語アライメントツールへの依存を回避することで、ノイズの多いアライメントによる誤差伝搬を低減する。
• この手法は mBERT に対してポストプレトレーニングステップとして適用され、元の初期化を保持しながら多言語間アライメントを精錬する。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありの単語レベルおよび文レベルのアライメントは、mBERT のゼロショット多言語間転移性能を向上させることができるか？
• RQ2 対照的学習と修正済み TLM を用い、最小限の並列データで、既存の後処理アライメント手法を凌駕できるか？
• RQ3 微調整時にコードスイッチングを適用することで、さらにアライメントとモデル性能が向上するか？
• RQ4 性能とリソース効率の観点から、XLM や XLM-R と比較して本手法はどのように差をつけるか？
• RQ5 最先端モデルと比較して、顕著に少ないパラメータと並列データを用いても、性能が維持または向上するか？

主な発見

• XNLI のゼロショットベンチマークでは、提案手法が mBERT の性能を 4.7% 向上させた。
• 翻訳学習設定では XLM と同等の性能を達成したが、XLM の並列データの 18% 未満と、31% 少ないパラメータを用いた。
• MLQA ベンチマークでは、提案モデルよりも 57% 多くのパラメータを持つ XLM-R Base を上回った。
• アブレーションスタディにより、単語レベルおよび文レベルのアライメントコンponentの両方が性能向上に顕著に寄与することが確認された。
• 微調整時に英語とターゲット言語のコードスイッチングを適用することで、追加のアライメント信号が得られ、下流タスクの性能が向上した。
• 本手法は高い効率性を示し、最小限の並列データと小型モデルで最先端の結果を達成した。