[論文レビュー] MultiMix: A Robust Data Augmentation Strategy for Cross-Lingual NLP.

Mehwish Bari, Muhammad Tasnim Mohiuddin+1 more|arXiv (Cornell University)|Apr 28, 2020

Topic Modeling参考文献 29被引用数 11

ひとこと要約

MultiMix は、自己学習と教師なしサンプル選択を組み合わせることで、低リソースのターゲット言語におけるゼロショットクロスリンガル転移学習のための頑健なデータ拡張戦略を提案する。ターゲット言語にラベル付きデータを必要とせず、クロスリンガル名前付きエンティティ認識および自然言語推論で顕著な向上を達成する。

ABSTRACT

Transfer learning has yielded state-of-the-art results in many supervised natural language processing tasks. However, annotated data for every target task in every target language is rare, especially for low-resource languages. In this work, we propose MultiMix, a novel data augmentation method for semi-supervised learning in zero-shot transfer learning scenarios. In particular, MultiMix targets to solve cross-lingual adaptation problems from a source (language) distribution to an unknown target (language) distribution assuming it has no training labels in the target language task. In its heart, MultiMix performs simultaneous self-training with data augmentation and unsupervised sample selection. To show its effectiveness, we have performed extensive experiments on zero-shot transfers for cross-lingual named entity recognition (XNER) and natural language inference (XNLI). Our experiments show sizeable improvements in both tasks outperforming the baselines by a good margin.

研究の動機と目的

• 低リソースのターゲット言語におけるクロスリンガル NLP タスクのラベル付きデータの不足という課題に対処すること。
• ソース言語から未観測のターゲット言語分布へのゼロショット転移性能を向上させること。
• ラベル付きターゲットデータに依存せずにモデルの一般化性能を向上させるデータ拡張手法を開発すること。
• 自己学習と教師なしサンプル選択を統合したフレームワークを構築し、頑健なクロスリンガル適応を実現すること。

提案手法

• MultiMix は、ソース言語およびターゲット言語のサンプルから得られる混合表現を用いて、同時に自己学習とデータ拡張を実行する。
• 異なる言語からの入力シーケンスを組み合わせる学習可能なミキシング戦略を適用し、拡張されたトレーニング例を生成する。
• トレーニング中に低信頼度またはノイズの多い予測をフィルタリングするための教師なしサンプル選択メカニズムを統合する。
• モデルの信頼度スコアを活用して、ターゲット言語分布から高品質な疑似ラベル付きサンプルを動的に選択する。
• 対照的損失を用いてエンドツーエンドに訓練することで、ソースとターゲットの表現を整列させつつ、言語的多様性を保持する。
• 繰り返し適用することで、複数のトレーニングエポックにわたり予測と拡張を段階的に改善する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張と自己学習を組み合わせることで、ゼロショットクロスリンガル転移性能が向上するか？
• RQ2 MultiMix は、ソース言語とターゲット言語の分布間のドメインシフトをどの程度軽減できるか？
• RQ3 教師なしサンプル選択は、低リソースのターゲット言語におけるモデルのロバスト性を向上させるか？
• RQ4 MultiMix は、既存のデータ拡張および自己学習ベースラインに対して、どの程度優れているか？

主な発見

• MultiMix は、強力なベースラインと比較して、クロスリンガル名前付きエンティティ認識（XNER）で顕著な改善を達成する。
• 複数の言語間転送設定において、自然言語推論（XNLI）でも一貫した向上を示す。
• ゼロショットクロスリンガル適応において、既存のデータ拡張および自己学習アプローチを上回る。
• 教師なしサンプル選択の統合により、未観測のターゲット言語におけるモデルの一般化性能が顕著に向上する。
• ターゲット言語にラベル付きトレーニング例がまったく存在しない場合でも、モデルは頑健な性能を示す。