[論文レビュー] Consistency Regularization for Cross-Lingual Fine-Tuning

Bo Zheng, Li Dong+8 more|arXiv (Cornell University)|Jun 15, 2021

Topic Modeling参考文献 35被引用数 5

ひとこと要約

本稿では、サブワードサンプリング、コードスイッチ置換、ガウスノイズ、機械翻訳の4つのデータ拡張戦略を用いた一貫性正則化を活用することで、転移性能を向上させるクロスリンガル微調整フレームワークxTuneを提案する。xTuneは、拡張された例同士および異なる拡張バージョンで訓練されたモデル同士の予測の一貫性を強制することで、XTREMEベンチマークにおける複数の自然言語処理タスクで顕著な性能向上を達成し、特にリソースが限られた設定で顕著である。

ABSTRACT

Fine-tuning pre-trained cross-lingual language models can transfer task-specific supervision from one language to the others. In this work, we propose to improve cross-lingual fine-tuning with consistency regularization. Specifically, we use example consistency regularization to penalize the prediction sensitivity to four types of data augmentations, i.e., subword sampling, Gaussian noise, code-switch substitution, and machine translation. In addition, we employ model consistency to regularize the models trained with two augmented versions of the same training set. Experimental results on the XTREME benchmark show that our method significantly improves cross-lingual fine-tuning across various tasks, including text classification, question answering, and sequence labeling.

研究の動機と目的

• データ拡張をより効果的に活用することで、微調整におけるクロスリンガル転移性能を向上させること。
• 従来の微調整の限界、すなわち拡張された例を独立して扱い、一貫性を強制しないことに対処すること。
• 分類、スパン抽出、系列ラベリングなどの多様な下流タスクに適用可能な柔軟で即挿入可能な手法を開発すること。
• 言語バリアントおよびモデルバリアント間の一貫性を強制することで、特にリソースが限られた言語の一般化性能を向上させること。
• 一貫性正則化がより良い意思決定境界とより言語に依存しない表現をもたらすことを示すこと。

提案手法

• 入力とその意味的に同等の拡張バージョン（翻訳やコードスイッチ変換など）の間の予測分散をペナルティ化する例の一貫性正則化（R₁）を導入する。
• 同じ訓練セットの異なる拡張バージョンで訓練された2つのモデルの予測を一致させるモデルの一貫性正則化（R₂）を適用し、コーパスレベルの一貫性を促進する。
• 4つのデータ拡張戦略を採用する：サブワードサンプリング、コードスイッチ置換、埋め込みへのガウスノイズ、およびクロスリンガルデータ拡張のための機械翻訳。
• R₁とR₂を統合的な訓練目的関数に組み合わせ、拡張にわたる予測とモデル行動の両方を同時に正則化する。
• 拡張ビュー間で共有パラメータを持つ共通エンコーダーを用い、一貫性制約を伴うエンドツーエンド学習を可能にする。
• モデルの一貫性正則化により、ラベルのないターゲット言語の翻訳を活用した半教師あり学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 データ拡張された例に一貫性正則化を適用することで、クロスリンガル転移性能が向上するか？
• RQ2 元の入力と拡張された入力の予測の一貫性を強制することで、言語間での一般化性能が向上するか？
• RQ3 異なる拡張データセットで訓練されたモデルの予測を一致させるモデルの一貫性正則化は、性能にどのように影響するか？
• RQ4 専用の翻訳システムや二語辞書が存在しない状況でも、提案手法がリソースが限られた言語の性能を向上させられるか？
• RQ5 一貫性正則化はより言語に依存しない表現と改善された意思決定境界をもたらすか？

主な発見

• xTuneはXTREMEベンチマーク全体でXLM-R largeベースラインを平均+2.2ポイント向上させ、ウルドゥ語のようなリソースが限られた言語では最大+5.4ポイントの向上を達成した。
• ラベルのアライメントが難しいPOSタスクでは、コードスイッチ拡張を用いたxTuneは+2.6ポイントの向上を達成したが、従来の微調整ではデータ拡張により性能が1.2ポイント低下した。
• 例の一貫性正則化（R₁）のみを用いても、クロスリンガルリtrieval性能が顕著に向上し、言語に依存しない表現の学習が促進されていることが示された。
• t-SNE可視化により、xTuneはより緊密で分離性の高い意思決定境界を生成し、意味的に同等のクロスリンガル例に対してより類似した表現を生成することが確認された。
• モデルの一貫性正則化により、翻訳の正解ラベルがなくても、ラベルのないターゲット言語翻訳を用いた効果的な半教師あり学習が可能になった。
• 本手法は、テキスト分類、質問応答、系列ラベリングなど多様なタスクに柔軟かつ効果的に適用可能であり、評価されたすべての設定で一貫した向上が得られた。