[論文レビュー] A neural interlingua for multilingual machine translation

Yichao Lu, Phillip Keung+4 more|arXiv (Cornell University)|Apr 23, 2018

Natural Language Processing Techniques参考文献 20被引用数 22

ひとこと要約

本稿では、マルチリンガルなシーケンス・ツー・シーケンスNMTモデル内に、ピvォット言語を用いずに直接ゼロショット翻訳を可能にする、共有で言語に依存しない表現層（ニューラル・インターリンガア）を提案する。言語固有の文埋め込みを、注意機構に基づく共有エンコーダーがユニバーサルなインターリンガアに変換することで、WMT15で競争力のあるBLEUスコアを達成するとともに、フランス語およびドイツ語のYelpレビューを英語分類器を介して分類するなど、クロスリンガルな転移学習を可能にする。

ABSTRACT

We incorporate an explicit neural interlingua into a multilingual encoder-decoder neural machine translation (NMT) architecture. We demonstrate that our model learns a language-independent representation by performing direct zero-shot translation (without using pivot translation), and by using the source sentence embeddings to create an English Yelp review classifier that, through the mediation of the neural interlingua, can also classify French and German reviews. Furthermore, we show that, despite using a smaller number of parameters than a pairwise collection of bilingual NMT models, our approach produces comparable BLEU scores for each language pair in WMT15.

研究の動機と目的

• ピボット言語を用いずに直接ゼロショット翻訳を可能にするために、マルチリンガル機械翻訳におけるデータスパarsity問題を解決すること。
• クロスリンガルな転移学習を支援する言語に依存しない文表現を学習すること。
• 翻訳品質を維持しつつ、ピボットベースの翻訳と比較して計算コストを低減すること。
• ユニバーサルエンコーダーデコーダーモデルの制限、例えば語彙サイズの制限や最適でないゼロショットパフォーマンスを克服すること。
• 共有インターリンガアが複数の言語間で統一された意味的表現として機能できることを示すこと。

提案手法

• 言語固有のエンコーダー出力を処理する共有で注意機構に基づく再帰的エンコーダーとしてのニューラル・インターリンガアを導入する。
• 各言語ごとに別個のエンコーダーとデコーダーを備えるが、それらの間に単一の共有インターリンガア層を設けるマルチリンガルシーケンス・ツー・シーケンスモデルを訓練する。
• 言語固有の双方向LSTMをエンコーダーとして使用し、注意機構を備えた自己回帰的LSTMをデコーダーとして使用する。
• 各ミニバッチで異なるソース・ターゲット言語ペアを使用することで、言語間の共同学習を可能にするスケジュールドトレーニング戦略を適用する。
• ターゲットデコーダーのコンテキストとしてインターリンガアの隠れ状態を用いることで、すべての言語ペアにわたる共有注意機構を避ける。
• ソース文の埋め込みを用いて、英語データで学習した分類器を、インターリンガアを介してフランス語およびドイツ語に一般化させることで、クロスリンガル転移を活用する。

実験結果

リサーチクエスチョン

• RQ1 ピボット言語や並列単語対のない状況下でも、ニューラル・インターリンガアが言語ペア間で直接ゼロショット翻訳を可能にするか。
• RQ2 インターリンガアが意味的に意味的で、並列翻訳間の類似性を保持する言語に依存しない表現を学習するか。
• RQ3 インターリンガアが、英語データでのみ学習された分類器を用いて、低リソース言語のレビュー分類など、効果的なクロスリンガル転移学習を可能にするか。
• RQ4 BLEUスコアおよび推論効率の観点から、ピボットベースやユニバーサルエンコーダーデコーダーモデルと比較して、直接ゼロショット翻訳のパフォーマンスはどの程度か。
• RQ5 パairwise bilingualモデルと比較して、パrameter数を減らしても、競争力のある翻訳品質を維持できるか。

主な発見

• UN Parallel Corpusを用いて、Fr↔Ru、Zh↔Es、Es↔Frの翻訳ペアでピボット言語を一切使用せずに、直接ゼロショット翻訳が達成された。
• ユニバーサルエンコーダーデコーダーベースラインと比較して、ゼロショット翻訳において顕著なBLEUスコアの向上が確認された。
• 並列翻訳からの文埋め込みがインターリンガア空間で近くに位置しており、効果的な意味的アライメントが実現していることが示された。
• 英語のYelpレビュー分類器を英語データで学習した後、インターリンガアを介してフランス語およびドイツ語のレビューに一般化することができ、クロスリンガル転移の有効性が裏付けられた。
• パラメータ数を減らしても、専用のバイリンガルNMTモデルと同等のBLEUスコアを達成した。
• インターリンガアにより、トレーニングおよび推論コストが線形に保たれ、共有注意機構の二次的スケーリングを回避する、効率的なマルチリンガル翻訳が可能になった。