[論文レビュー] A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation

Di Jin, Zhijing Jin+2 more|arXiv (Cornell University)|Jan 22, 2020

Natural Language Processing Techniques参考文献 21被引用数 13

ひとこと要約

本論文は、ニューラル機械翻訳（NMT）における半教師付きドメイン適応の分野で、シンプルだが非常に効果的な反復的バックトランスレーションと言語モデル学習のアプローチを提案する。各訓練イテレーションにおいて教師ありソースドメインデータを統合しており、最も強力なベースラインに対して最大+19.31 BLEU、未適応モデルに対しては+47.69 BLEUの向上を達成し、今後の研究における強力で実装が容易なベースラインを確立した。

ABSTRACT

State-of-the-art neural machine translation (NMT) systems are data-hungry and perform poorly on new domains with no supervised data. As data collection is expensive and infeasible in many cases, domain adaptation methods are needed. In this work, we propose a simple but effect approach to the semi-supervised domain adaptation scenario of NMT, where the aim is to improve the performance of a translation model on the target domain consisting of only non-parallel data with the help of supervised source domain data. This approach iteratively trains a Transformer-based NMT model via three training objectives: language modeling, back-translation, and supervised translation. We evaluate this method on two adaptation settings: adaptation between specific domains and adaptation from a general domain to specific domains, and on two language pairs: German to English and Romanian to English. With substantial performance improvement achieved---up to +19.31 BLEU over the strongest baseline, and +47.69 BLEU improvement over the unadapted model---we present this method as a simple but tough-to-beat baseline in the field of semi-supervised domain adaptation for NMT.

研究の動機と目的

• 並列訓練データが存在しない低リソースで専門的なドメインにおけるNMTの性能が低いという課題に対処すること。
• 高リソースのソースドメイン（例：WMT）から、平行データが存在しないターゲットドメインへモデルの汎化性能を向上させること。
• 既存の手法を上回る、シンプルで強力なベースライン手法を、NMTにおける半教師付きドメイン適応のために開発すること。
• 特に低リソース環境下でのデータ量と分布の影響が適応性能に与える影響を調査すること。

提案手法

• 両方の言語（ソース言語およびターゲット言語）に対して、大規模な単語彙のモノリンガルWikipediaデータを用いた言語モデル事前学習により、TransformerベースのNMTモデルを初期化する。
• 3つの目的関数を用いて反復的にモデルを訓練する：両方向のバックトランスレーション（L1→L2 および L2→L1）、ターゲットドメインのモノリンガルデータにおける言語モデリング、およびソースドメインの平行データを用いた教師あり翻訳。
• 反復的最適化を実装し、各訓練ステップでバックトランスレーションと非平行ターゲットデータにおける言語モデリングを交互に実行し、定期的にソースドメインの平行データを用いたファインチューニングを実施する。
• ターゲットドメインのモノリンガルデータに加え、同じドメインまたはソースドメインからの追加の非平行データを組み合わせることでデータ拡張を実施し、性能向上を図る。
• 翻訳品質、モノリンガルの流暢さ、ドメイン一般化の3つを同時に最適化するマルチ目的学習方式を実装する。
• サブサンプリングおよびデータ結合戦略を用いて、ソースドメインデータのサイズと分布がモデル性能に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 反復的バックトランスレーションに加え、ターゲットドメインのモノリンガルデータにおける言語モデリングを組み合わせることで、低リソースドメインにおけるNMT性能が著しく向上するか？
• RQ2 反復的訓練中に教師ありソースドメインデータを統合することは、完全に無教師の手法と比較して適応性能にどのように影響を与えるか？
• RQ3 ターゲットドメインまたはソースドメインからの追加の非平行モノリンガルデータが、適応性能に与える影響は何か？
• RQ4 ソースドメインの平行データのサイズが、ドメイン適応における性能向上に与える影響は何か？
• RQ5 提案手法が、半教師付きドメイン適応分野において、既存の最先端手法を上回る強力でシンプルなベースラインとして機能するか？

主な発見

• 提案手法は、特定のドメイン間での適応において、4つのベースライン手法の中で最も優れたものよりも最大+9.48 BLEUの向上を達成した。
• 一般ドメイン（WMT）から特定ドメインへの適応において、最も優れた既存手法よりも最大+19.31 BLEU、未適応モデルよりも+47.69 BLEUの向上を達成した。
• ターゲットドメインからの追加の非平行データ（例：TEDトークス）を追加することで、性能が一貫して向上し、最良の設定では教師あり翻訳性能に非常に近いBLEUスコアに達した。
• ソースドメインの平行データが増えるほど、手法の性能が向上し、データ量が100万対以上に達するまで飽和しないことがわかった。
• IBT+Back手法は、バックトランスレーションのみを用いる手法や限定的なデータを用いる手法を含め、すべてのベースラインを上回り、優れたデータ効率性と一般化性能を示した。
• 本手法は強力なロバストネスとスケーラビリティを示し、ドイツ語-英語およびルーマニア語-英語の2つの言語ペアおよび複数の適応設定において、性能向上が維持された。