[論文レビュー] Unsupervised Domain Adaptation for Neural Machine Translation with Iterative Back Translation.

Di Jin, Zhijing Jin+2 more|arXiv (Cornell University)|Jan 22, 2020

Natural Language Processing Techniques参考文献 24被引用数 7

ひとこと要約

この論文は、ニューラル機械翻訳（NMT）における教師なしドメイン適応のための反復的バックトランスレーション（IBT）手法を提案する。ドメイン内単語形データを用いてループ内で擬似並列文を生成することで、ドメイン内に並列データが一切ない状況でも翻訳品質を向上させる。ドイツ語→英語タスクにおいて、最も強力な先行手法よりも最大+9.48 BLEU、未適応ベースラインよりも最大+27.77 BLEUの向上を達成した。

ABSTRACT

State-of-the-art neural machine translation (NMT) systems are data-hungry and perform poorly on domains with little supervised data. As data collection is expensive and infeasible in many cases, unsupervised domain adaptation methods are needed. We apply an Iterative Back Translation (IBT) training scheme on in-domain monolingual data, which repeatedly uses a Transformer-based NMT model to create in-domain pseudo-parallel sentence pairs in one translation direction on the fly and then use them to train the model in the other direction. Evaluated on three domains of German-to-English translation task with no supervised data, this simple technique alone (without any out-of-domain parallel data) can already surpass all previous domain adaptation methods---up to +9.48 BLEU over the strongest previous method, and up to +27.77 BLEU over the unadapted baseline. Moreover, given available supervised out-of-domain data on German-to-English and Romanian-to-English language pairs, we can further enhance the performance and obtain up to +19.31 BLEU improvement over the strongest baseline, and +47.69 BLEU increment against the unadapted model.

研究の動機と目的

• 低リソースドメインにおけるNMT性能の低さは、監視付きドメイン内並列データの不足に起因するため、その課題に対処すること。
• ドメイン外並列データを必要とせず、ドメイン内単語形データのみを活用してドメイン適応を実現する手法を開発すること。
• 自己教師付きの擬似並列データ生成により、低リソースドメインにおける翻訳品質を向上させること。
• シンプルでありながら効果的な反復的トレーニングスキームを用いて、NMTにおける教師なしドメイン適応で最先端のパフォーマンスを達成すること。

提案手法

• ドメイン内単語形データから、変換器ベースのNMTモデルを用いて反復的バックトランスレーション（IBT）を実行し、一方方向の擬似並列文ペアを生成する。
• 生成された擬似並列データを用いて、逆方向の翻訳方向にモデルを微調整し、フィードバックループを構築する。
• 各ステップで新たに生成されたドメイン内擬似データを用いて、モデルを段階的に改善する反復的プロセスを繰り返す。
• 実際のドメイン内並列例に依存せずに、生成された擬似並列データを用いてモデルをエンドツーエンドで訓練する。
• モデル自身の翻訳能力を活用して、ターゲットドメインにおける並列データを模擬する。
• 利用可能なドメイン外並列データが存在する場合には、それを統合してパフォーマンスをさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 反復的バックトランスレーションは、ドメイン内単語形データのみを用いて、事前学習済みNMTモデルを低リソースドメインに適応させるのに効果的であるか？
• RQ2 BLEUスコアの向上という観点から、提案手法IBTは既存のドメイン適応手法と比べてどのように差をつけるか？
• RQ3 ドメイン内並列アノテーションが一切ない状況において、モデルは反復的な擬似並列データ生成からどの程度恩恵を受けるか？
• RQ4 既存のドメイン外並列データと組み合わせることで、IBT手法はさらに向上させられるか？

主な発見

• IBT手法単体でも、ドイツ語→英語翻訳タスクにおいて、ドメイン内並列データが一切ない状況で、最も強力な先行手法よりも最大+9.48 BLEUの向上を達成した。
• 同じベンチマークにおいて、未適応ベースラインモデルよりも最大+27.77 BLEUの向上を達成した。
• 利用可能なドメイン外並列データと組み合わせた場合、最も強力なベースラインよりも最大+19.31 BLEUの向上を達成した。
• ドメイン外データをIBTループに加えて使用した場合、未適応モデルよりも+47.69 BLEUの増加を達成した。
• 複数のドメインにわたり一貫した性能向上が得られ、IBTアプローチの頑健性を示した。
• 結果から、反復的バックトランスレーションは、ドメイン内並列データが一切ない状況でも非常に効果的であり、先行する教師なしドメイン適応手法を上回ることを示した。