[論文レビュー] Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation

Haipeng Sun, Rui Wang+4 more|arXiv (Cornell University)|Apr 21, 2020

Natural Language Processing Techniques参考文献 39被引用数 6

ひとこと要約

本稿では、13の言語を対象に、単一のエンコーダーとデコーダーを用いて翻訳を行う統合的で多言語対応の教師なしニューラル機械翻訳（MUNMT）フレームワークを提案する。多言語単語文データと、2つの新しい知識蒸留法—自己知識蒸留と言語ブランチ知識蒸留—を活用している。この手法は、すべての言語対で最先端の性能を達成し、ゼロショット翻訳と低リソース言語対の性能を著しく向上させ、強力な個別的な教師なしベースラインを上回っている。

ABSTRACT

Unsupervised neural machine translation (UNMT) has recently achieved remarkable results for several language pairs. However, it can only translate between a single language pair and cannot produce translation results for multiple language pairs at the same time. That is, research on multilingual UNMT has been limited. In this paper, we empirically introduce a simple method to translate between thirteen languages using a single encoder and a single decoder, making use of multilingual data to improve UNMT for all language pairs. On the basis of the empirical findings, we propose two knowledge distillation methods to further enhance multilingual UNMT performance. Our experiments on a dataset with English translated to and from twelve other languages (including three language families and six language branches) show remarkable results, surpassing strong unsupervised individual baselines while achieving promising performance between non-English language pairs in zero-shot translation scenarios and alleviating poor performance in low-resource language pairs.

研究の動機と目的

• 既存の教師なしNMTシステムが一度に1つの言語対しか翻訳できないという制限を解消すること。
• 多様な言語系統や分岐をカバーする多言語翻訳を、単一のモデルアーキテクチャで効率的かつスケーラブルに実現すること。
• 知識蒸留を活用して、ゼロショット翻訳および低リソース言語対の性能を向上させること。
• 多言語教師なし翻訳における言語構造に配慮した蒸留の有効性を検証すること。
• 統合的フレームワークを用いて大規模な多言語教師なしNMTの強力なベースラインを確立すること。

提案手法

• 13言語の翻訳を可能にする統合的MUNMTフレームワークを設計し、単一の共有エンコーダーと単一のデコーダーを採用。単語文データを用いて13言語の共同学習を実現。
• エンコーダーに共通の潜在表現を言語間で共有させるために、クロスリンガルマスクド言語モデル事前学習を活用。
• 入力文を破損させたものを再構成することで耐性を高めるため、自己符号化誤差を適用。
• 反復的にバックトランスレーションを用いて仮想平行データを生成し、自己学習によって翻訳品質を向上。
• 2つの知識蒸留法を提案：自己知識蒸留はモデル自身の予測結果をソフトターゲットとして使用し、言語ブランチ知識蒸留は言語ブランチ間の言語的類似性を活用して蒸留を誘導。
• 蒸留の目的関数を学習損失に統合し、より強力な教師信号からの知識を学生モデルの予測を精緻化するために活用。

実験結果

リサーチクエスチョン

• RQ1 1つのエンコーダーと1つのデコーダーを備えたアーキテクチャが、13の多様なヨーロッパ言語にわたる多言語教師なし翻訳を効果的にサポートできるか？
• RQ2 知識蒸留が多言語教師なしNMTの性能を向上させる仕組みは何か、特にゼロショットおよび低リソース翻訳の文脈でどう顕著に現れるか？
• RQ3 言語ブランチ間の言語的類似性が、多言語NMTにおける知識蒸留にどの程度寄与するか？
• RQ4 提案された統合的MUNMTフレームワークが、すべての言語対で強力な個別的な教師なしベースラインを上回るか？
• RQ5 統合的フレームワークを通じて多言語単語文データを統合することで、低リソース言語対における性能低下が緩和されるか？

主な発見

• 提案されたMUNMTシステムは13言語すべてで最先端の性能を達成し、すべての言語対で強力な個別的な教師なしベースラインを上回っている。
• 非英語から英語への翻訳の平均ではBLEUスコアが21.19に達し、ベースラインを著しく上回っている。
• ゼロショット翻訳では、特に低リソース言語対（例：ラトビア語→英語（Lv-En）やリトアニア語→英語（Lt-En））において有望な性能を示しており、微調整後にはBLEUスコアが1.72から16.86に向上した。
• 言語ブランチ知識蒸留は、関連する言語対で顕著な向上をもたらし、ルーマニア語（Ro-En）とトルコ語（Tr-En）の両方で1.5のBLEU向上を達成した。
• 自己知識蒸留は一般化性能を向上させ、最終的なMUNMTモデルは平均で21.19のBLEUスコアを達成し、ベースラインから1.72ポイントの向上を実現した。
• 非英語から英語へのペアに対するさらなる微調整により、性能は21.19のBLEUにまで向上し、モデルの適応性と頑健性を示している。