[論文レビュー] Cross-lingual Pre-training Based Transfer for Zero-shot Neural Machine Translation

Baijun Ji, Zhirui Zhang+4 more|arXiv (Cornell University)|Dec 3, 2019

Natural Language Processing Techniques参考文献 32被引用数 8

ひとこと要約

本論文は、モノリンガルおよびバイリンガルの事前学習を通じて訓練されたユニバーサルエンコーダーを用いて、ソース言語とピボット言語の表現を統一的にアライメントする、ゼロショットニューラルマシン翻訳のためのクロスリンガル事前学習に基づく転移学習手法を提案する。この手法は、ピボットベースおよびマルチリンガルのベースラインと比較して、ゼロショット翻訳性能を顕著に向上させ、平均してピボット法よりも+2.4 BLEU、マルチリンガルNMTよりも+4.6 BLEUの向上を達成した。

ABSTRACT

Transfer learning between different language pairs has shown its effectiveness for Neural Machine Translation (NMT) in low-resource scenario. However, existing transfer methods involving a common target language are far from success in the extreme scenario of zero-shot translation, due to the language space mismatch problem between transferor (the parent model) and transferee (the child model) on the source side. To address this challenge, we propose an effective transfer learning approach based on cross-lingual pre-training. Our key idea is to make all source languages share the same feature space and thus enable a smooth transition for zero-shot translation. To this end, we introduce one monolingual pre-training method and two bilingual pre-training methods to obtain a universal encoder for different languages. Once the universal encoder is constructed, the parent model built on such encoder is trained with large-scale annotated data and then directly applied in zero-shot translation scenario. Experiments on two public datasets show that our approach significantly outperforms strong pivot-based baseline and various multilingual NMT approaches.

研究の動機と目的

• ゼロショットニューラルマシン翻訳の転移学習における言語空間の不一致問題に対処すること。
• 並列のソース-ターゲットデータが存在しない状況でも、ピボットからターゲットへの親モデルからソースからターゲットへの子モデルへの滑らかな転移を可能にすること。
• 異なるソース言語とピボット言語の間で不変の表現を共有するユニバーサルエンコーダーを構築すること。
• ゼロショット翻訳性能を向上させると同時に、監視付き翻訳性能を維持または向上させること。
• クロスリンガル事前学習が、ソース言語間のドメインシフトを低減する有効性を調査すること。

提案手法

• ソース言語とピボット言語の表現をアライメントするための新規なバイリンガル事前学習手法、Bridge Language Modeling (BRLM) を導入する。
• モノリンガルのマスク言語モデル（MLM）とBRLMを組み合わせ、複数言語用のユニバーサルエンコーダーを事前学習する。
• 意味が同じである文が異なるソース言語で表現された場合に、類似した潜在表現を持つように、共有エンコーダー構造を採用する。
• ファインチューニング段階でバックトランスレーションを適用し、さらにゼロショット翻訳品質を向上させる。
• ファインチューニング段階でレイヤーごとのパラメータの凍結を採用し、事前学習の知識とタスク固有の適応のバランスを取る。
• 大規模な並列データを用いてピボット-ターゲットモデルを学習し、追加の並列データなしで直接ソース-ターゲット翻訳に適用する。

実験結果

リサーチクエスチョン

• RQ1 クロスリンガル事前学習は、ゼロショットNMTにおけるソース言語とピボット言語間の言語空間の不一致を効果的に低減できるか？
• RQ2 提案されたBRLM事前学習手法は、既存の手法と比較して、クロスリンガル文および語の表現アライメントを向上させるか？
• RQ3 パラメータの凍結戦略は、ゼロショットおよび監視付き翻訳方向における性能にどのように影響するか？
• RQ4 ユニバーサルエンコーダーは、ソース-ターゲットの並列データが一切ない状況でも、高品質なゼロショット翻訳を可能にするか？
• RQ5 提案手法は、ピボットベースおよびマルチリンガルNMTベースラインと比較して、ゼロショット翻訳においてどのように性能を発揮するか？

主な発見

• MLM+BRLM-SA手法は、ゼロショット翻訳においてピボットベースラインより平均で2.4 BLEUポイント高い性能を達成した。
• MLM+BRLM-SA手法は、ゼロショット翻訳においてマルチリンガルNMTより平均で4.6 BLEUポイント高い性能を達成した。
• 最初の4つのエンコーダーレイヤーを凍結すると、ゼロショットおよび監視付き翻訳性能の両方において最良のバランスが得られた。
• MLM+BRLM-SA手法は、すべてのTransformerレイヤーにおいて、コサイン類似度で測定した場合、最も安定的かつ類似したクロスリンガル文の表現を生成した。
• MLM+BRLM-SAの単語レベルの隠れ状態は、ソース言語とピボット言語の対応語間で高い類似度を示しており、より良いアライメントが達成されていることを示している。
• この手法は、元の監視付きTransformerと比較して、監視付き翻訳方向の性能を維持または向上させた。