[論文レビュー] An Empirical Comparison of Simple Domain Adaptation Methods for Neural Machine Translation

Chenhui Chu, Raj Dabre+1 more|arXiv (Cornell University)|Jan 12, 2017

Natural Language Processing Techniques参考文献 14被引用数 51

ひとこと要約

本論文は外部データでの事前学習と混合ドメイン内外のファインチューニングを組み合わせた、NMTのドメイン適応の混合ファインチューニングを提案し、ファインチューニングとマルチドメインのアプローチと比較している。混合ファインチューニングは、いくつかのドメイン対においてBLEUスコアが最も良いことを示している。

ABSTRACT

In this paper, we propose a novel domain adaptation method named "mixed fine tuning" for neural machine translation (NMT). We combine two existing approaches namely fine tuning and multi domain NMT. We first train an NMT model on an out-of-domain parallel corpus, and then fine tune it on a parallel corpus which is a mix of the in-domain and out-of-domain corpora. All corpora are augmented with artificial tags to indicate specific domains. We empirically compare our proposed method against fine tuning and multi domain methods and discuss its benefits and shortcomings.

研究の動機と目的

• 低資源のドメイン内データ設定での神経機械翻訳のドメイン適応を動機づける。
• 外部ドメイン事前学習と混合ドメインファインチューニングを組み合わせた方法として混合ファインチューニングを提案する。
• 混合ファインチューニングを、複数のドメイン対に渡って、混合/ファインチューニングとマルチドメイン戦略と実証的に比較する。
• ドメインタグがパフォーマンスに与える影響を評価し、訓練時間と ドメインデータ品質に対する過適合の影響を分析する。

提案手法

• 外部ドメインデータでNMTモデルを収束まで訓練する。
• インドメインと外部ドメインの混合コーパスに対して、インドメイン部分を過サンプリングして訓練を再開する。
• 必要に応じて、インドメインデータでさらにファインチューニングする。
• すべてのコーパスにドメインタグを付与して、ドメインを示す。
• BLEU-4を用いて、2つのドメイン適応設定に across 複数のテストセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 混合ファインチューニングは、従来のファインチューニングおよびマルチドメインアプローチを神経機械翻訳のドメイン適応において上回るか。
• RQ2 ドメインタグは、これらのドメイン適応手法の性能にどう影響するか。
• RQ3 収束時間とイン-domainデータ品質のロバスト性におけるトレードオフは何か。
• RQ4 提案手法は、言語ペアやドメインペアリング（高品質対低品質イン-domainデータ）でどのように機能するか。

主な発見

システム	test2010	test2011	test2012	test2013	平均	追加
IWSLT-CE SMT	-	12.73	16.27	14.01	14.67	14.31
IWSLT-CE NMT	-	6.75	9.08	9.05	7.29	7.87
NTCIR-CE SMT	29.54	3.57	4.70	4.21	4.74	4.33
NTCIR-CE NMT	37.11	2.23	2.83	2.55	2.85	2.60
Fine tuning	17.37	13.93	18.99	16.12	17.12	16.41
Multi domain	36.40	13.42	19.07	16.56	17.54	16.34
Multi domain w/o tags	37.32	12.57	17.40	15.02	15.96	14.97
Multi domain + Fine tuning	14.47	13.18	18.03	16.41	16.80	15.82
Mixed fine tuning	37.01	15.04	20.96	18.77	18.63	18.01
Mixed fine tuning w/o tags	39.67	14.47	20.53	18.10	17.97	17.43
Mixed fine tuning + Fine tuning	32.03	14.40	19.53	17.65	17.94	17.11

• 混合ファインチューニングは、調査対象のドメイン対に対して、通常は最も良いBLEU-4スコアを示すことが多い。
• ファインチューニングは小さいインドメインデータで過適合しやすいが、混合ファインチューニングは過適合を抑え、アウト・オブ・ドメイン翻訳の品質を維持する。
• ドメインタグを用いたマルチドメイン手法は有効であることがあるが、混合ファインチューニングを一貫して上回るわけではない。
• インドメインデータの品質が低い場合（例: WIKI-CJ）には、混合ファインチューニングの利点がより小さくなることを示す、ドメインデータ品質が効果に影響を与える。
• ファインチューニングと比較して、混合ファインチューニングはファインチューニングデータサイズに比例して長いファインチューニング時間を要する。
• ドメインタグは、マルチドメイン設定と混合ファインチューニング設定の双方に有益である。