[論文レビュー] Bridging the domain gap in cross-lingual document classification

Guokun Lai, Barlas Oğuz+2 more|arXiv (Cornell University)|Sep 16, 2019

Topic Modeling参考文献 35被引用数 14

ひとこと要約

本論文は、自己教師あり学習（XLM）ベースの事前学習と、自己教師ありデータ拡張（UDA）および自己学習を組み合わせることで、翻訳的・ドメイン的ギャップを同時に解消するフレームワークを提案する。この手法により、強力なXLMベースライン比で平均44%の誤差低減が達成され、新たなSOTA性能が実現された。

ABSTRACT

The scarcity of labeled training data often prohibits the internationalization of NLP models to multiple languages. Recent developments in cross-lingual understanding (XLU) has made progress in this area, trying to bridge the language barrier using language universal representations. However, even if the language problem was resolved, models trained in one language would not transfer to another language perfectly due to the natural domain drift across languages and cultures. We consider the setting of semi-supervised cross-lingual understanding, where labeled data is available in a source language (English), but only unlabeled data is available in the target language. We combine state-of-the-art cross-lingual methods with recently proposed methods for weakly supervised learning such as unsupervised pre-training and unsupervised data augmentation to simultaneously close both the language gap and the domain gap in XLU. We show that addressing the domain gap is crucial. We improve over strong baselines and achieve a new state-of-the-art for cross-lingual document classification.

研究の動機と目的

• 言語の壁が克服されても、モデル性能を制限する「無視されがちなドメインギャップ」を是正すること。
• ラベルなしのターゲット言語データを活用することで、ドメイン差を低減させ、多言語ドキュメント分類を向上させること。
• ゼロショット多言語転移学習において、言語アライメントと同様にドメイン適応が高いパフォーマンスを達成するために不可欠であることを示すこと。
• 自己教師ありドメイン適応技術を統合した、多言語転移と自己教師ありドメイン適応を統合したフレームワークを構築すること。
• 言語ギャップとドメインギャップの両方を軽減することで、多言語ドキュメント分類分野における新たなSOTAを確立すること。

提案手法

• XLMベースの多言語表現と、ラベルなしのターゲット言語データを用いたマスク言語モデル（MLM）事前学習を組み合わせ、自己教師ありドメイン適応を実現する。
• バックトランスレーション（ターゲット→英語→ターゲット）を用いて合成的仮説文を生成することで、自己教師ありデータ拡張（UDA）を実施し、モデルの頑健性と一貫性を向上させる。
• ターゲット言語データに対する予測を精緻化するための自己学習戦略を導入し、ソースドメインデータへの依存を低減するとともに、分布シフトの影響を軽減する。
• UDA、MLM事前学習、自己学習を統合した共同学習プロセスを採用することで、モデルをターゲットドメインに適応させつつ、多言語アライメントを維持する。
• t2t（ターゲット→ターゲット）、t2s（ターゲット→ソース）、s2t（ソース→ターゲット）といった異なるデータ拡張戦略を評価し、最適な構成を同定するためのアブレーションスタディを実施する。
• UDAの際にはラベルの一貫性損失を、ラベル付きソースデータには交差エントロピー損失を用いて、エンドツーエンドでモデルをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 強力な多言語表現を有しても、言語間でドメインのずれが顕著に性能を低下させるのか？
• RQ2 自己教師ありドメイン適応技術（例：UDA、MLM事前学習）は、リソースが限られたターゲット言語においてドメインギャップを効果的に低減できるのか？
• RQ3 異なるデータ拡張戦略（例：t2t、s2t、t2s）は、多言語設定におけるモデルの汎化性能にどのように影響を与えるのか？
• RQ4 ラベル付きデータがターゲット言語で不足している状況で、自己学習はどの程度モデル性能を向上させるのか？
• RQ5 言語アライメントとドメイン適応の共同最適化により、多言語モデルと単一言語モデルの性能差を埋め合わせられるのか？

主な発見

• 提案手法は、複数の多言語ドキュメント分類ベンチマークにおいて、強力なXLMベースライン比で平均44%の誤差低減を達成した。
• バックトランスレーションを用いたt2t（ターゲット→ターゲット）拡張戦略が最も優れた性能を示し、ドメインにマッチしたデータ拡張が最も効果的であることを示唆している。
• 多言語設定における性能は、カテゴリあたり約1万件のラベル付きサンプルでピークに達し、より大きなソース言語の学習データセットでは性能が低下する傾向にあり、ドメインシフトに起因する負の転送が生じていることが示された。
• 自己学習により、ソースドメインデータへの依存が低減され、予測がターゲットドメインの分布に一致するようになるため、性能が顕著に向上した。
• UDAとMLM事前学習を用いてラベルなしのターゲット言語データを活用することで、単一言語ベースラインにほぼ近い性能が達成された。
• UDA、MLM事前学習、自己学習の組み合わせにより、複数の言語対とデータセットにおいて、多言語ドキュメント分類分野で新たなSOTA性能が達成された。