[論文レビュー] Toward Multilingual Neural Machine Translation with Universal Encoder and Decoder

Thanh-Le Ha, Jan Niehues+1 more|arXiv (Cornell University)|Nov 15, 2016

Natural Language Processing Techniques参考文献 15被引用数 266

ひとこと要約

この論文は、単一の共有エンコーダとデコーダを用いた統一的な多言語NMTフレームワークを提示し、言語固有のコーディングとターゲット強制を用いて、多対多翻訳をアーキテクチャ変更なしに可能とし、低資源およびゼロ資源設定での改善を示す。

ABSTRACT

In this paper, we present our first attempts in building a multilingual Neural Machine Translation framework under a unified approach. We are then able to employ attention-based NMT for many-to-many multilingual translation tasks. Our approach does not require any special treatment on the network architecture and it allows us to learn minimal number of free parameters in a standard way of training. Our approach has shown its effectiveness in an under-resourced translation scenario with considerable improvements up to 2.6 BLEU points. In addition, the approach has achieved interesting and promising results when applied in the translation task that there is no direct parallel corpus between source and target languages.

研究の動機と目的

• 複数言語に対して単一のエンコーダと単一のデコーダを用いる多言語NMTフレームワークの動機づけと開発。
• 多言語翻訳でアテンション機構を有効にしつつ、アーキテクチャの変更を回避する。
• 言語固有のコーディングとターゲット強制を活用して翻訳方向と言語整合を制御する。
• 低資源およびゼロ資源翻訳シナリオで手法を評価し、利得と限界を評価する。

提案手法

• アテンション機構を変更せずに、言語を横断して単一のユニバーサルエンコーダとデコーダを採用する。
• 言語コードで単語をプレフィックスすることによる言語固有コーディングを適用する（例：@de@、@en@）で、異なる言語を共有埋め込みに配置する。
• ソース文の先頭/末尾に言語固有の sentinel を付与してターゲット言語へ翻訳を誘導する、ターゲット強制を導入する。
• 標準のNMTトレーニング手順（共有エンコーダ/デコーダ; 同じアテンション）で訓練し、語彙管理のためにBPEのサブワード単位を使用する。
• 低資源翻訳を改善するために、モノリンガルデータや補助言語を取り入れる混合ソースまたは混合マルチソース戦略を用いる。
• BLEUで評価する、低資源の英語→ドイツ語とゼロ資源のドイツ語→フランス語のシナリオで; ベースラインおよび Pivot/Bridge バリアントと比較する。

実験結果

リサーチクエスチョン

• RQ1 単一のユニバーサルエンコーダとデコーダは、アーキテクチャ変更なしで多言語翻訳を多数対多で扱えるのか？
• RQ2 言語固有のコーディングとターゲット強制は、効果的な多言語NMTを可能にし、パラメータ数を削減するのか？
• RQ3 混合ソースおよび混合マルチソース戦略を用いた多言語学習は、低資源およびゼロ資源設定でどのような性能を示すのか？
• RQ4 この統一型多言語フレームワークにおける大規模モノリンガルコーパスの使用は、影響を及ぼすのか？

主な発見

System	BLEU_tst2013	BLEU_tst2014	Delta_tst2013	Delta_tst2014
Baseline (En→De)	24.35	20.62	-	-
Mix-source (En,De→De,De)	26.99	22.71	+2.64	+2.09
Mix-multi-source (En,Fr→De,De)	26.64	22.21	+2.21	+1.59
Baseline (En→De) with large monolingual data	-	-	-	-
Mix-source big (En,De→De,De)	25.87	21.68	+1.52	+1.06
Bridge (De,En,En→En,Fr,En)	9.70	-	-3.71	-
Universal (De,En,En,Fr→En,Fr,En,Fr)	10.77	-	-2.64	-

• In under-resourced English→German translation, Mix-source improves BLEU by 2.64 on tst2013 and 2.09 on tst2014 over the baseline; Mix-multi-source improves by 2.21 and 1.59 respectively.
• Incorporating large monolingual data with a mix-source setup yields a BLEU gain of 1.52 on tst2013 and 1.06 on tst2014 after adaptation on parallel data.
• Zero-resource German→French experiments show Bridge and Universal strategies underperform the Pivot baseline, with BLEU scores of 9.70 and 10.77 respectively, compared to Pivot at 13.41; language identification errors are non-negligible (Bridge ~21.27% words wrong language; Universal ~17.57%).
• The approach demonstrates multilinguality benefits and competitive results without architecture redesign, while highlighting balancing and forcing mechanism challenges in zero-resource scenarios.