[論文レビュー] Zero-Shot Cross-lingual Classification Using Multilingual Neural Machine Translation

Akiko Eriguchi, Melvin Johnson+3 more|arXiv (Cornell University)|Sep 12, 2018

Topic Modeling参考文献 45被引用数 78

ひとこと要約

本論文は多言語NMTエンコーダを再利用してクロスリンガル転送のためのエンコーダ-分類子を構成し、Amazon Reviews、SST、SNLI におけるフランス語のゼロショット分類を強力に達成し、英語タスクにも競争力の向上を示した。

ABSTRACT

Transferring representations from large supervised tasks to downstream tasks has shown promising results in AI fields such as Computer Vision and Natural Language Processing (NLP). In parallel, the recent progress in Machine Translation (MT) has enabled one to train multilingual Neural MT (NMT) systems that can translate between multiple languages and are also capable of performing zero-shot translation. However, little attention has been paid to leveraging representations learned by a multilingual NMT system to enable zero-shot multilinguality in other NLP tasks. In this paper, we demonstrate a simple framework, a multilingual Encoder-Classifier, for cross-lingual transfer learning by reusing the encoder from a multilingual NMT system and stitching it with a task-specific classifier component. Our proposed model achieves significant improvements in the English setup on three benchmark tasks - Amazon Reviews, SST and SNLI. Further, our system can perform classification in a new language for which no classification data was seen during training, showing that zero-shot classification is possible and remarkably competitive. In order to understand the underlying factors contributing to this finding, we conducted a series of analyses on the effect of the shared vocabulary, the training data type for NMT, classifier complexity, encoder representation power, and model generalization on zero-shot performance. Our results provide strong evidence that the representations learned from multilingual NMT systems are widely applicable across languages and tasks.

研究の動機と目的

• 多言語NMTエンコーダを再利用することで下流NLPタスクの性能が向上することを実証する。
• このアプローチがタスク固有の英語データなしでもゼロショット分類を実現することを示す。
• 共有語彙、データタイプ、エンコーダ深さ、分類器容量、学習ダイナミクスなど、ゼロショット性能に影響を与える要因を分析する。

提案手法

• En-Fr翻訳用に言語特異的デコーダを備えた共有多言語NMTエンコーダを訓練し、そのエンコーダを事前訓練済み部品として用いる。
• プリプーリング、プーリング、ポストプーリングのネットワークを備えたタスク固有の分類器を付与し、予測のための固定長表現を生成する。
• 英語タスク（Amazon Reviews、SST）とSNLIで評価し、多言語エンコーダからの転移効果を測定する。
• エンコーダを固定化とファインチューニングのどちらで実施するかを実験し、性能への影響を評価する。
• 前提と仮説を多源エンコードで拡張し、SNLIへ適用する。
• ゼロショット設定での比較対象として、最先端のベースラインやクロスリンガル埋め込み法と比較する。

実験結果

リサーチクエスチョン

• RQ1 多言語NMTエンコーダは下流NLPタスクに転送可能な言語非依存表現を提供できるか。
• RQ2 エンコーダを再利用することで、ランダムに初期化したエンコーダと比べて英語タスクの性能が向上するか。
• RQ3 新しい言語（例：フランス語）でのタスク固有のフランス語データなしでゼロショット分類が達成できるか、ブリッジド設定にどれだけ近づくか。
• RQ4 ゼロショット性能に最も影響を与える要因（語彙共有、 multilingual訓練データ、エンコーダ深さ、分類器容量、訓練ダイナミクス）は何か。

主な発見

Model	Amazon (En)	Amazon (Fr)	SST (En)	SNLI (En)
Baseline Encoder-Classifier	76.60	82.50	79.63	76.70
+ Pre-trained Encoder	80.70	83.18	84.18	84.42
+ Freeze Encoder	84.13	85.65	84.51	84.41
State-of-the-art Models	83.50	87.50	90.30	88.10

• 多言語NMTエンコーダを再利用することで、ランダムに初期化したエンコーダと比較してAmazon (En/Fr)、SST、SNLIの各タスクで有意な改善が見られる。
• 事前訓練済みエンコーダを使用すると、Amazon (En/Fr)、SST、SNLIの精度がベースラインのエンコーダ-分類子より改善する。
• エンコーダを初期化後に固定化すると、特に長文タスクであるAmazon Reviewsで性能がさらに向上する。
• ゼロショットのフランス語分類では、事前訓練済みエンコーダがゼロショット精度を大幅に向上させ、複数のタスクでブリッジ型の性能に近づく（いくつかのタスクで数ポイント程度）。
• SNLI (Fr)における最良のゼロショット手法は、いくつかのクロスリンガル埋め込みベースラインを大きく上回る（例：73.88% vs 下位ベースライン）。
• 共有サブワード語彙は一般化を助けるが、強いゼロショット性能を実現するには多言語訓練データが必要であること、エンコーダの深さとモデル容量が言間表現の学習にとって重要であることが示唆される。