[論文レビュー] On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment

Zirui Wang, Zachary C. Lipton+1 more|arXiv (Cornell University)|Oct 6, 2020

Topic Modeling参考文献 45被引用数 6

ひとこと要約

本論文は、多言語モデルにおけるネガティブ干渉の体系的分析を提示し、言語固有のパラメータと勾配の競合により、高リソース言語だけでなく低リソース言語に対しても影響を及ぼすことを示している。著者らは、共有層の一般化を向上させるために言語固有のアダプタをメタラーニングで訓練する手法を提案し、言語内性能を著しく向上させるとともにゼロショット多言語間転移性を向上させた。

ABSTRACT

Modern multilingual models are trained on concatenated text from multiple languages in hopes of conferring benefits to each (positive transfer), with the most pronounced benefits accruing to low-resource languages. However, recent work has shown that this approach can degrade performance on high-resource languages, a phenomenon known as negative interference. In this paper, we present the first systematic study of negative interference. We show that, contrary to previous belief, negative interference also impacts low-resource languages. While parameters are maximally shared to learn language-universal structures, we demonstrate that language-specific parameters do exist in multilingual models and they are a potential cause of negative interference. Motivated by these observations, we also present a meta-learning algorithm that obtains better cross-lingual transferability and alleviates negative interference, by adding language-specific layers as meta-parameters and training them in a manner that explicitly improves shared layers' generalization on all languages. Overall, our results show that negative interference is more common than previously known, suggesting new directions for improving multilingual representations.

研究の動機と目的

• ネガティブ干渉（多言語モデルにおける性能低下）が、高リソース言語にとどまらず低リソース言語に対しても発生するかどうかを調査すること。
• 勾配の競合や言語固有のパラメータの競合といった、ネガティブ干渉の根本的要因を同定すること。
• 共有表現の一般化を明示的に改善するメタラーニングフレームワークを構築し、干渉を低減すること。
• 個々の言語における単言語性能を維持または向上させつつ、多言語間転移性を向上させること。

提案手法

• 多言語設定における性能低下を分離・比較できるよう、単言語および二言語モデルを訓練する。
• コーパスサイズ、言語の類似性、勾配の類似性、パラメータの類似性の各要因についてアブレーションスタディを実施し、干渉のトリガーを同定する。
• メタアダプタを導入：メタラーニングで訓練された言語固有のアダプタモジュールを、共有層の一般化を強化するために使用する。
• メタ最適化を用いて、言語固有のアダプタパラメータを更新し、すべての言語にわたる共有層の一般化を向上させる。
• 下流タスクにおいて、標準アダプタ、共有アダプタ、共同微調整ベースラインと比較してメタアダプタ手法の有効性を検証する。
• ゼロショット多言語間転移（XNLI）および単言語NERタスクで評価し、言語内および多言語間性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 低リソース言語においてもネガティブ干渉が発生する可能性があるのか、ポジティブトランスファーの期待とは対照的に？
• RQ2 勾配の競合や言語固有のパラメータといった、構造的・最適化的要因がネガティブ干渉に寄与するのか？
• RQ3 言語固有のモジュールを明示的にモデル化することで、共有表現の一般化が向上するのか？
• RQ4 言語固有のアダプタに対するメタラーニングにより、言語内およびゼロショット多言語間性能の両方を向上させ、干渉を軽減できるのか？

主な発見

• ネガティブ干渉は高リソース言語だけでなく低リソース言語に対しても影響を及ぼし、多言語モデルが高リソース言語にのみ悪影響を及えるという仮定に反する。
• 言語固有のパラメータが存在し、モデル容量の競合を引き起こし、勾配の競合を通じて性能低下を引き起こす。
• 提案されたメタアダプタ手法はXNLIで平均67.9％の精度を達成し、JointPair（67.1％）およびXLM（67.8％）を上回り、多言語間転移性の向上を示した。
• メタアダプタは標準アダプタよりも速く、より安定して収束し、初期トレーニング段階で訓練損失がより著しく減少した。
• 共有アダプタは言語内および多言語間性能を向上させるが、言語の競合をより効果的に解消できるメタアダプタに劣る。
• 単言語NERタスクでは単言語モデルとの性能ギャップを埋めるとともに、同時にゼロショット転移性能を向上させ、二重の利点を示した。