[論文レビュー] Improving Zero-Shot Translation of Low-Resource Languages

Surafel M. Lakew, Quintino F. Lotito+3 more|arXiv (Cornell University)|Nov 4, 2018

Natural Language Processing Techniques参考文献 21被引用数 21

ひとこと要約

本稿では、自己生成翻訳を再訓練に用いる反復的自己学習手法を提案し、低資源多言語ニューラル機械翻訳におけるゼロショット翻訳を向上させる。ベースライン多言語モデルより9 BLEUポイントの向上を達成し、ピvォットベース翻訳を上回る。二重翻訳ループから得られる合成的で段階的に綺麗な並列データにより、ゼロショットおよび非ゼロショット翻訳方向の両方が向上する。

ABSTRACT

Recent work on multilingual neural machine translation reported competitive performance with respect to bilingual models and surprisingly good performance even on (zeroshot) translation directions not observed at training time. We investigate here a zero-shot translation in a particularly lowresource multilingual setting. We propose a simple iterative training procedure that leverages a duality of translations directly generated by the system for the zero-shot directions. The translations produced by the system (sub-optimal since they contain mixed language from the shared vocabulary), are then used together with the original parallel data to feed and iteratively re-train the multilingual network. Over time, this allows the system to learn from its own generated and increasingly better output. Our approach shows to be effective in improving the two zero-shot directions of our multilingual model. In particular, we observed gains of about 9 BLEU points over a baseline multilingual model and up to 2.08 BLEU over a pivoting mechanism using two bilingual models. Further analysis shows that there is also a slight improvement in the non-zero-shot language directions.

研究の動機と目的

• 特定の言語対において並列データが乏しいもしくは存在しない低資源多言語ニューラル機械翻訳（NMT）設定における低資源言語翻訳の課題に対処すること。
• 追加の並列単語語彙データを必要とせずに、特にイタリア語-ルーマニア語のような低資源言語対におけるゼロショット翻訳パフォーマンスを向上させること。
• 多言語NMTモデルが自ら生成した出力を合成学習データとして活用することで、反復的に自身のゼロショット翻訳品質を改善できるかどうかを検証すること。
• 自己修正プロセスがゼロショット翻訳方向だけでなく、非ゼロショット翻訳方向に対しても向上をもたらすかどうかを評価すること。

提案手法

• 本手法は、反復的トレーニング・推論・再トレーニングのループを採用する：まず、多言語NMTモデルが訓練データのサブセットに対してゼロショット翻訳を生成する。
• 次に、生成された翻訳を元の並列データと組み合わせ、モデルを再トレーニングするが、各反復で最新のバッチの合成データのみを用いる。
• 推論時にターゲット言語を指定するための言語トークンを前置することで、モデルをターゲット・フォースティング機構で初期化し、ゼロショット翻訳を可能にする。
• 複数ラウンドにわたりこのプロセスを繰り返すことで、徐々に精度の高い自己生成翻訳から学習できるようになる。
• 翻訳の双対性を活用：元の言語対と逆方向の両方の翻訳を生成することで、一貫性のある合成並列データを生成する。
• このトレーニング手順は、イタリア語、ルーマニア語、英語、ドイツ語、オランダ語を含む多言語設定に適用され、英語のみがピvォットとして使用される。

実験結果

リサーチクエスチョン

• RQ1 多言語NMTモデルが自ら生成した翻訳を反復的に再トレーニングすることで、ゼロショット翻訳パフォーマンスを顕著に向上させられるか？
• RQ2 自己修正プロセスにより、特に低資源環境下で、反復の度に翻訳がより綺麗で一貫性を持つようになるか？
• RQ3 提案手法はゼロショット翻訳方向だけでなく、非ゼロショット翻訳方向に対してもどの程度向上をもたらすか？
• RQ4 2つの双語モデルを用いたピvォットベース翻訳と比較して、反復的自己学習アプローチはBLEUスコアおよび翻訳品質においてどのように差をつけるか？

主な発見

• 提案手法は、イタリア語-ルーマニア語のゼロショット翻訳方向において、ベースライン多言語NMTモデルより顕著な+9 BLEUポイントの向上を達成した。
• 同じゼロショット方向において、2つの双語モデルを用いたピvォット機構を最大2.08 BLEUポイント上回った。
• 複数のテストセットにわたり一貫した向上が確認され、IWSLT 2017テストセットでは+8.9および+10.67 BLEUポイントの向上を示し、堅牢性を裏付けた。
• 非ゼロショット方向に対してもパフォーマンス向上が見られ、オランダ語→英語方向でのわずかな-0.10 BLEUの低下しか観察されず、一般化可能性が示された。
• 定性的分析により、向上したモデル（Multi-NMT*）は、ベースラインに見られる混合言語のアーティファクトを排除した一貫性のあるターゲット言語出力を生成することが確認された。
• 最初の再トレーニングラウンド後に最大のパフォーマンス向上が観察されたことから、初期の合成データがすでに顕著な信号を提供しており、その後のラウンドでさらに精錬がなされたことが示された。