[論文レビュー] MultiMix: A Robust Data Augmentation Framework for Cross-Lingual NLP

Mehwish Bari, Tasnim Mohiuddin+1 more|arXiv (Cornell University)|Apr 28, 2020

Topic Modeling参考文献 44被引用数 13

ひとこと要約

MultiMix は、同時に自己訓練、データ拡張、および教師なしサンプル選択を組み合わせることで、ラベルなしのターゲット言語データを必要とせずにゼロリソースのクロスリンガル転移学習を可能にする自己教師ありデータ拡張フレームワークである。この手法は、ラベルなしのターゲット言語データを必要とせずに、ゼロリソースのクロスリンガル名前付きエンティティ認識および自然言語推論タスクで最先端の性能を達成している。

ABSTRACT

Transfer learning has yielded state-of-the-art (SoTA) results in many supervised natural language processing tasks. However, annotated data for every target task in every target language is rare, especially for low-resource languages. We propose MultiMix, a novel data augmentation framework for self-supervised learning in zero-resource transfer learning scenarios. In particular, MultiMix targets to solve cross-lingual adaptation problems from a source language distribution to an unknown target language distribution, assuming no training labels are available for the target language task. At its core, MultiMix performs simultaneous self-training with data augmentation and unsupervised sample selection. To show its effectiveness, we conduct extensive experiments on zero-resource cross-lingual transfer tasks for Named Entity Recognition and Natural Language Inference. MultiMix achieves SoTA results in both tasks, outperforming the baselines by a good margin. With an in-depth model dissection, we demonstrate the cumulative contributions of different components to MultiMix's success.

研究の動機と目的

• 低リソースおよびゼロリソースのクロスリンガル NLP タスクにおけるアノテート済みデータの不足という課題に対処すること。
• ターゲット言語にラベル付き学習データが一切ない状態でも、ソース言語から未知のターゲット言語へ効果的に転移学習を可能にすること。
• クロスリンガル自己教師あり学習における一般化性能を向上させる、頑健なデータ拡張フレームワークの開発。
• 同時に自己訓練と教師なしサンプルフィルタリングを通じて、モデル学習とデータ選択を最適化すること。

提案手法

• MultiMix はデータ拡張と連携した共同自己訓練を実行し、ソース言語の分布からのサンプルを混合することで合成された学習例を生成する。
• 言語間の意味的および文法的構造を保持する多言語データ混合戦略を適用する。
• 低品質またはノイズの多い拡張サンプルをフィルタリングするため、訓練ループに教師なしサンプル選択を統合する。
• 自己教師あり目的関数を活用してモデルを更新すると同時に、高信頼度の予測を動的に選別して訓練に使用する。
• 拡張データに対する訓練プロセスの耐性を確保するため、一貫性正則化機構を採用する。
• ラベル付き例がターゲット言語に存在しないゼロリソース設定で動作する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張と教師なしサンプル選択が、同時にゼロリソースのクロスリンガル転移性能を向上させ得るか？
• RQ2 MultiMix は、ゼロリソースのクロスリンガル NER および NLI タスクにおいて、既存のベースラインと比較してどのように差をつけるか？
• RQ3 各コンポonent — データミキシング、自己訓練、およびサンプル選択 — が全体の性能向上に果たす寄与度は何か？
• RQ4 MultiMix は、多様な低リソース言語ペアにおけるクロスリンガル転移に一般化可能か？
• RQ5 ターゲット言語データの不足度合いが変化する状況下でも、MultiMix の性能はどれほど頑健か？

主な発見

• MultiMix は、ゼロリソースのクロスリンガル名前付きエンティティ認識タスクで最先端の結果を達成し、既存のベースラインを上回っている。
• ゼロリソースのクロスリンガル自然言語推論タスクでも最先端の性能を達成しており、言語ペア間での強い一般化能力を示している。
• アブレーションスタディの結果、データ拡張と教師なしサンプル選択の両方が、モデルの成功に累積的な寄与をしていることが確認された。
• 複数の低リソース言語転移設定において、一貫した性能向上が見られた。
• ターゲット言語にラベル付きデータが全くない状況下でも、モデルの性能は頑健であることが示された。