[論文レビュー] Zero-Shot Dual Machine Translation

Lierni Sestorain, Massimiliano Ciaramita+2 more|arXiv (Cornell University)|May 25, 2018

Natural Language Processing Techniques参考文献 20被引用数 18

ひとこと要約

この論文は、モノリンガルデータのみを用いて、ゼロショット翻訳性能を顕著に向上させる、ゼロショットデュアル機械翻訳フレームワークを提案する。多言語ニューラル機械翻訳と強化学習に基づくデュアル学習を組み合わせることで、スペイン語-フランス語翻訳においては、教師ありベースラインに匹敵する性能（2.2 BLEUポイント以内）を達成し、6言語ペア（ロシア語を含む）に拡張した場合、ゼロショット翻訳方向の性能を最大15.19 BLEUポイント向上させる。

ABSTRACT

Neural Machine Translation (NMT) systems rely on large amounts of parallel data. This is a major challenge for low-resource languages. Building on recent work on unsupervised and semi-supervised methods, we present an approach that combines zero-shot and dual learning. The latter relies on reinforcement learning, to exploit the duality of the machine translation task, and requires only monolingual data for the target language pair. Experiments show that a zero-shot dual system, trained on English-French and English-Spanish, outperforms by large margins a standard NMT system in zero-shot translation performance on Spanish-French (both directions). The zero-shot dual method approaches the performance, within 2.2 BLEU points, of a comparable supervised setting. Our method can obtain improvements also on the setting where a small amount of parallel data for the zero-shot language pair is available. Adding Russian, to extend our experiments to jointly modeling 6 zero-shot translation directions, all directions improve between 4 and 15 BLEU points, again, reaching performance near that of the supervised setting.

研究の動機と目的

• ゼロショット翻訳ペアに平行モノリンガルデータに依存しないことで、低リソースニューラル機械翻訳におけるデータ不足問題に対処する。
• 強化学習によるデュアル学習と多言語NMTを統合することで、ゼロショット翻訳品質を向上させる。
• ゼロショットペアに平行データを必要としない、複数の翻訳方向にスケーラブルな単一モデル学習を可能にする。
• ゼロショットペアに少量の平行データが利用可能な場合でさえも、標準的なゼロショットNMTを上回ることを示す。
• ロシア語を含む多様な言語系統にわたるスケーラビリティとロバストネスを調査する。

提案手法

• 複数の言語ペア（例：en-fr, en-es）の平行モノリンガルデータを用いて、共有エンコーダ-デコーダモデルでトレーニングされる多言語NMTアーキテクチャを採用する。
• 入力に特別な言語識別トークンを導入することで、未学習の言語ペア（例：es-fr）間の翻訳を可能にするゼロショットメカニズムを導入する。
• 強化学習に基づくデュアル学習を適用：モノリンガル文をターゲット言語に翻訳し、再び元の言語に逆翻訳する。その際、スコアとして文の自然さ（fluency）と再構成精度（reconstruction）を報酬とする。
• 言語モデルスコア（自然さ）と再構成誤差（バックトランスレーション）を組み合わせた報酬関数を定義し、強化学習による方策最適化を実現する。
• ゼロショット言語ペアのモノリンガルデータのみを用いて、エンドツーエンドに学習する。ゼロショット方向には平行データを一切必要としない。
• 共有語彙とモノリンガルデータを用いて、すべての言語ペア（en, es, fr, ruを含む）を同時に学習することで、6言語ペアにフレームワークをスケールアップする。

実験結果

リサーチクエスチョン

• RQ1 ゼロショット翻訳システムは、ゼロショット言語ペアに平行データを一切使用せずに、教師ありベースラインに匹敵する性能を達成できるか？
• RQ2 強化学習によるデュアル学習と多言語NMTを統合することで、標準的なゼロショットNMTと比較して、ゼロショット翻訳品質はどの程度向上するか？
• RQ3 この手法は、ロシア語のような異なる言語系統に属する言語ペアを含め、複数の言語ペアにどの程度スケーラブルに拡張できるか？
• RQ4 ゼロショットペアに少量の平行データが存在する場合でも、この手法は性能向上をもたらすか？
• RQ5 言語系統の多様性とモデル容量は、ゼロショットデュアル学習フレームワークの一般化能力と性能にどのような影響を与えるか？

主な発見

• スペイン語-フランス語翻訳において、このゼロショットデュアルNMTシステムは、標準的な多言語NMTベースラインを最大32.58 BLEUポイント上回り、そのペアに平行データが一切存在しない。
• スペイン語-フランス語翻訳において、教師ありNMTシステムに2.2 BLEUポイント以内で近い性能を達成しており、モノリンガルデータのみで教師あり性能に匹敵する結果を示している。
• ゼロショットペアに少量の平行データ（100万文）を追加した場合でも、ベースラインNMTモデルを0.67–2.53 BLEUポイント上回る。
• 6言語ペア（ロシア語を含む）に拡張した場合、すべてのゼロショット翻訳方向が4–15.19 BLEUポイント向上し、教師ありベースラインに2–3 BLEUポイント以内で近い性能を維持している。
• 異なる言語ペア、特に異なる言語系統に属するペアに対しても一貫した向上が見られ、強力な多言語一般化能力を示している。
• ロシア語（ゲルマン系ではない言語）への翻訳でも、性能が著しく低下せず、言語的多様性に対して高いロバストネスを示している。