[論文レビュー] Adversarial Learning with Contextual Embeddings for Zero-resource Cross-lingual Classification and NER

Phillip Keung, Yichao Lu+1 more|arXiv (Cornell University)|Aug 31, 2019

Topic Modeling参考文献 14被引用数 5

ひとこと要約

本稿では、多言語Bertを用いてゼロリソースのクロスリンガル転移を向上させるために、言語に adversarial な訓練を提案する。識別器は英語と非英語のテキストを区別するように訓練され、生成器（Bert）は言語に依存しない表現を生成するように最適化される。この手法は、MLDocのテキスト分類およびCoNLL NERのゼロショット性能を顕著に向上させ、ドイツ語NERではF1スコアが最大3.3ポイント上昇し、英語と翻訳済みドキュメント埋め込み間のコサイン類似度は平均で0.73から0.94に上昇した。

ABSTRACT

Contextual word embeddings (e.g. GPT, BERT, ELMo, etc.) have demonstrated state-of-the-art performance on various NLP tasks. Recent work with the multilingual version of BERT has shown that the model performs very well in zero-shot and zero-resource cross-lingual settings, where only labeled English data is used to finetune the model. We improve upon multilingual BERT's zero-resource cross-lingual performance via adversarial learning. We report the magnitude of the improvement on the multilingual MLDoc text classification and CoNLL 2002/2003 named entity recognition tasks. Furthermore, we show that language-adversarial training encourages BERT to align the embeddings of English documents and their translations, which may be the cause of the observed performance gains.

研究の動機と目的

• 並列データやクロスリンガルリソースを使用せずに、マルチリンガルNLPタスクにおけるゼロリソースのクロスリンガル転移性能を向上させること。
• 言語に adversarial な訓練が、英語と翻訳済みドキュメントのマルチリンガルBert埋め込みの整合性を高めることを調査すること。
• 敵対的ファインチューニングが、MLDocおよびCoNLL NERベンチマークで従来のゼロショットベースラインを上回ることを実証すること。
• 敵対的訓練が、言語ごとのクロスリンガルモデル性能の一貫性と頑健性に与える影響を分析すること。
• 言語に依存しない表現が、向上したゼロリソース転移の主な要因であるかどうかを検討すること。

提案手法

• 言語識別器を、Bertで埋め込まれた入力シーケンスが英語か他の言語かを分類するように訓練する。
• 生成器（マルチリンガルBert）は、識別器をだますように最適化され、言語を区別できる能力を最小限に抑える。
• 全体の訓練目的は、タスク固有の損失（例：テキスト分類やNER用）、生成器損失、識別器損失を組み合わせたものである。
• 敵対的訓練は、ラベル付き英語データのファインチューニング中に適用され、非英語の未ラベル付きテキストが敵対的更新に使用される。
• 英語ドキュメントとその翻訳の平均プールドBert埋め込みを計算し、コサイン類似度で意味的整合性を測定する。
• ハイパーパramータは英語の開発セットで調整され、複数の言語におけるゼロリソーステストセットでモデルが評価される。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、マルチリンガルテキスト分類およびNERタスクにおけるゼロリソースのクロスリンガル性能を向上させるか？
• RQ2 言語に adversarial な訓練は、英語ドキュメントとその非英語翻訳の埋め込みをどの程度整合させるか？
• RQ3 敵対的ファインチューニングは、クロスリンガルリソースを使用する従来のゼロショットベースラインと比べてどうか？
• RQ4 敵対的訓練は、言語ごとのクロスリンガル性能の一貫性と安定性を高めるか？
• RQ5 観察された性能向上は、モデルがより言語に依存しない表現を学習していることに起因するか？

主な発見

• 敵対的訓練により、MLDocのすべての言語でゼロリソース分類精度が向上し、特にドイツ語と日本語で最大5.5パーセンテージポイントの上昇が観察された。
• CoNLL 2002/2003 NERベンチマークでは、ドイツ語のF1スコアが68.6から71.9に上昇し、スペイン語では75.0から74.3に上昇し、従来のゼロショット手法を上回った。
• 英語ドキュメントとその翻訳のBert埋め込み間の中央コサイン類似度は、敵対的訓練なしでは0.73、敵対的訓練ありでは0.94に上昇し、より強い整合性が示された。
• 性能向上は言語にかかわらず一貫しており、敵対的訓練により訓練ステップにおけるテスト精度の分散が低下し、より安定した収束が示された。
• 敵対的訓練がなくても、マルチリンガルBertのゼロリソース性能は、従来の発表済み結果を上回っており、強力な固有のゼロショット転移能力を示している。
• 結果から、言語に adversarial な訓練は、モデルが言語に依存しない表現を学習するのを促進することで、クロスリンガル一般化を向上させると示唆された。