[論文レビュー] Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation

Aizhan Imankulova, Raj Dabre+2 more|arXiv (Cornell University)|Jul 6, 2019

Natural Language Processing Techniques参考文献 26被引用数 18

ひとこと要約

本論文は、低資源の日本語–ロシア語ニューラル機械翻訳の性能向上を図るために、ドメイン外の並列データを活用する多言語多段階微調整手法を提案する。まず多言語モデルを多様なドメイン外データで事前学習し、その後、ドメイン内並列データおよびバックトランスレーションされたデータで微調整することで、極めて低資源な設定において強力なベースライン比で+3.7 BLEUの向上を達成した。

ABSTRACT

This paper proposes a novel multilingual multistage fine-tuning approach for low-resource neural machine translation (NMT), taking a challenging Japanese--Russian pair for benchmarking. Although there are many solutions for low-resource scenarios, such as multilingual NMT and back-translation, we have empirically confirmed their limited success when restricted to in-domain data. We therefore propose to exploit out-of-domain data through transfer learning, by using it to first train a multilingual NMT model followed by multistage fine-tuning on in-domain parallel and back-translated pseudo-parallel data. Our approach, which combines domain adaptation, multilingualism, and back-translation, helps improve the translation quality by more than 3.7 BLEU points, over a strong baseline, for this extremely low-resource scenario.

研究の動機と目的

• 低資源のニューラル機械翻訳の持続的課題、特に日本語–ロシア語のような低資源言語対に対する課題に対処すること。
• ドメイン内データが乏しい低資源NMTの状況において、ドメイン外の並列データを効果的に活用できるかどうかを調査すること。
• 多言語事前学習、ドメイン適応、およびバックトランスレーションを多段階微調整フレームワークに統合することで翻訳品質を向上させること。
• 多様でドメイン外の並列データからの転移学習が、極めて低資源な環境において顕著な性能向上をもたらすことを示すこと。

提案手法

• 複数の言語で構成される大規模なドメイン外並列データを用いて多言語NMTモデルを事前学習する。
• 日本語–ロシア語翻訳タスクに特化したドメイン内並列単語データに対して、その多言語モデルを微調整する。
• 翻訳ターゲット言語のドメイン内単語データから、擬似並列単語データを生成するためにバックトランスレーションを適用する。
• 順次的にドメイン内並列データおよびその後にバックトランスレーションされた擬似並列データにモデルを適応させることで、多段階微調整を実施する。
• トレーニングプロセス全体を通して多言語間の転送性を維持するために、共有の多言語エンコーダ–デコーダアーキテクチャを用いる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン内データが極めて限られている状況において、ドメイン外の並列データが低資源NMTの性能向上に寄与できるか。
• RQ2 多言語事前学習とドメイン特化型微調整を組み合わせた場合、低資源環境下での翻訳品質にどのような影響を与えるか。
• RQ3 多言語多段階微調整パイプラインに統合されたバックトランスレーションの貢献度は何か。
• RQ4 本手法は、ドメイン内データのみに依存する強力なベースラインや標準的な多言語NMTに比べて優れているか。

主な発見

• 提案手法は、低資源の日本語–ロシア語翻訳タスクにおいて、強力なベースライン比で+3.7 BLEUのスコア向上を達成した。
• ドメイン外の並列データの使用が、ターゲットドメインと直接一致しない状況でもモデル性能を顕著に向上させた。
• ドメイン内並列データおよびバックトランスレーションされた擬似並列データに対する多段階微調整は、単一段階の微調整よりも優れたドメイン適応を実現した。
• 多言語性、ドメイン適応、およびバックトランスレーションの組み合わせは、低資源環境下で標準的手法よりも優れた結果をもたらした。