[論文レビュー] Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning

Zihan Liu, Genta Indra Winata+2 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 30被引用数 17

ひとこと要約

この論文は、mBERT や XLM-R などの事前学習済み多言語モデルの微調整中に、多言語間能力を保持するための継続的学習アプローチを提案している。マスク言語モデル化（MLM）および多言語間文の検索（XSR）タスクによる制約を用いることで、災難的忘却を防ぎ、多言語間品詞タギング（POS）および命名エンティティ認識（NER）タスクにおけるSOTAのゼロショット性能を達成し、標準的な微調整ベースラインを平均1%以上上回る。

ABSTRACT

Recently, fine-tuning pre-trained language models (e.g., multilingual BERT) to downstream cross-lingual tasks has shown promising results. However, the fine-tuning process inevitably changes the parameters of the pre-trained model and weakens its cross-lingual ability, which leads to sub-optimal performance. To alleviate this problem, we leverage continual learning to preserve the original cross-lingual ability of the pre-trained model when we fine-tune it to downstream tasks. The experimental result shows that our fine-tuning methods can better preserve the cross-lingual ability of the pre-trained model in a sentence retrieval task. Our methods also achieve better performance than other fine-tuning baselines on the zero-shot cross-lingual part-of-speech tagging and named entity recognition tasks.

研究の動機と目的

• 事前学習済み多言語モデルの微調整中に生じる災難的忘却の問題に対処すること。これは、多言語間性能を低下させる。
• ソース言語の下流タスクでの微調整後、mBERT や XLM-R のようなモデルの元の多言語間能力を維持すること。
• 補助タスク（MLM および XSR）を用いた継続的学習が、微調整中に多言語間整合性を維持できるかどうかを検討すること。
• 品詞タギングおよび命名エンティティ認識タスクにおけるゼロショット多言語間転移性能を向上させること。

提案手法

• この手法は、以前のタスクの経験を記憶するメモリとしての形で、継続的学習フレームワークである勾配エピソード記憶（GEM）を採用している。
• 以前のタスク（MLM や XSR）の性能が低下しないように、不等式制約を含む最適化問題として微調整を定式化している。
• 下流タスク（例：POS や NER）で微調整を行う一方で、MLM および XSR タスクの性能を維持するように正則化している。
• エピソード記憶は、MLM および XSR タスクからの代表的な例を格納し、訓練中に制約を強制するために使用される。
• 多言語間一般化をよりよく保つために、MLM および XSR 目的を同時に使用する共同学習設定を採用している。
• このアプローチは mBERT および XLM-R に適用され、補助タスクにおける言語の選択（英語のみ vs. 全言語）を比較する消去実験が実施されている。

実験結果

リサーチクエスチョン

• RQ1 GEMを用いた継続的学習は、ソース言語タスクの微調整中に、事前学習済み多言語モデルの多言語間能力を保持できるか？
• RQ2 MLM および XSR タスクによる微調整の制約は、標準的な微調整と比較して、POS および NER タスクにおけるより良いゼロショット多言語間転移性能をもたらすか？
• RQ3 性能向上は、MLM および XSR の両方の制約のおかげなのか、それとも片方の制約で十分なのか？
• RQ4 補助タスクのMLMで使用する言語の選択（英語のみ vs. 全言語）が、最終的な性能および一般化に与える影響は何か？
• RQ5 XSR にのみ微調整を適用すると、標準的な微調整と比較して多言語間性能が向上するか、あるいは災難的忘却を引き起こすか？

主な発見

• MLM および XSR の両方の制約を適用した GEM 法は、POS および NER タスクにおけるゼロショット多言語間性能が最も高く、標準的な微調整を平均1%以上上回っている。
• GEM w/ Both (MLM および XSR) は、POS で平均86.8%のF1、NER で75.5%のF1を達成し、ベースラインのナード・ファインチューニングを著しく上回っている。
• MLM または XSR タスクでの MTF（マルチタスク微調整）による微調整は、ナード・ファインチューニングよりも下流タスクの性能が悪くなることが示され、補助タスクへの過学習が生じていることが示唆された。
• MLM タスクを全言語で制約する GEM を用いることで、英語のみで制約する場合よりわずかに性能が悪くなることが分かった。これは、過剰な制約が一般化を妨げることがあることを示している。
• GEM 法は微調整後も強力な多言語間文の検索（XSR）性能を維持しているが、標準的な微調整では XSR の正確性が著しく低下している。
• 消去実験により、GEM w/ MLM (all) および GEM w/ XSR (all) は両方とも多言語間性能を向上させるが、両方を組み合わせた場合が最も優れた結果をもたらすことが確認された。