[論文レビュー] Can Monolingual Pretrained Models Help Cross-Lingual Classification?

Zewen Chi, Li Dong+3 more|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 17被引用数 5

ひとこと要約

本稿では、モノリンガル事前学習モデル（例：RoBERTa）からマルチリンガルモデル（例：mBERT）へ、タスク固有の知識を知識蒸留および偽ラベル付けを用いて転送するフレームワークMonoXを提案する。モノリンガル教師モデルからのソフトラベルまたはハードラベルを用いてマルチリンガルモデルを微調整することで、アンサンブル手法に比べて顕著な性能向上を達成し、CLSでは平均で4.91%の精度向上、XNLIでは複数言語で2.5〜3.0%の向上を達成する。

ABSTRACT

Multilingual pretrained language models (such as multilingual BERT) have achieved impressive results for cross-lingual transfer. However, due to the constant model capacity, multilingual pre-training usually lags behind the monolingual competitors. In this work, we present two approaches to improve zero-shot cross-lingual classification, by transferring the knowledge from monolingual pretrained models to multilingual ones. Experimental results on two cross-lingual classification benchmarks show that our methods outperform vanilla multilingual fine-tuning.

研究の動機と目的

• モノリンガル事前学習モデルとマルチリンガル事前学習モデルの間の性能格差を、クロスリンガル転移学習において解消すること。
• ラベル付きのターゲット言語データを一切必要とせずに、モノリンガルモデルがマルチリンガルモデルの性能を向上させることを検証すること。
• ゼロショット設定において、マルチリンガルモデルがモノリンガルモデルから知識を学習できる知識蒸留および偽ラベル付けフレームワークを開発すること。
• 複数言語および複数ベンチマークにおけるゼロショットクロスリンガルテキスト分類の文脈で、本手法の有効性を評価すること。

提案手法

• ソース言語のラベル付きデータを用いてモノリンガルRoBERTaモデルを微調整し、教師モデルを構築する。
• ソフトラベルを用いた知識蒸留により、マルチリンガル学生モデル（mBERT）へ知識を転送する。
• 教師のソフトラベルと学生の予測を一致させるために、温度調整付き交差エントロピー損失を適用する。
• 教師モデルが予測した高信頼度の出力を用いて、未ラベル付きのソースデータに偽ラベルを付与することで、訓練データを拡張する。
• ラベル付きおよび偽ラベル付きの例を組み合わせたデータセットを用いて、ハードラベルに基づいてマルチリンガル学生モデルを訓練する。
• 組み合わせデータ上で標準的な交差エントロピー損失を最適化することで、ターゲット言語へのゼロショット転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モノリンガル事前学習モデルは、マルチリンガルモデルのゼロショットクロスリンガル分類性能を向上させることができるか？
• RQ2 モノリンガル教師モデルからの知識蒸留は、リソースが乏しいターゲット言語における一般化性能を向上させるか？
• RQ3 モノリンガル教師モデルから得た偽ラベル付きデータの使用は、マルチリンガル学生モデルの性能にどのような影響を与えるか？
• RQ4 本手法は、蒸留温度などのハイパーパrameterにどれほど感度を示すか？
• RQ5 モノリンガル教師モデルによる性能向上は、異なるデータサイズやNLPタスクにおいても持続的か？

主な発見

• MonoXは、ゼロショットクロスリンガルセンチメント分類のためのCLSベンチマークにおいて、アンサンブル手法に比べて平均で4.91%の精度向上を達成した。
• MonoX-PlとMonoX-Kdは、それぞれXNLIで72.1%および72.0%の平均精度を達成したのに対し、mBERTは68.6%であった。これは、複数言語にわたる一貫した向上を示している。
• 訓練データの10%のみを用いても性能が向上し、データが限られる状況ではXNLIで最大3.0%の向上を達成した。
• 温度を0.1に設定した知識蒸留が最良の結果をもたらし、広い温度範囲においても手法のロバストネスが確認された。
• 知識蒸留を用いないmBert-St（未ラベルデータを用いるが知識蒸留を行わない）はmBERTに比べて僅かな改善に留まり、MonoXの向上が単なるデータ拡張によるものではなく、知識転送によるものであることを裏付けた。
• モノリンガル教師モデルは、ソース言語だけでなく、ゼロショットターゲット言語においても性能向上をもたらし、効果的なクロスリンガル知識転送を実証した。