[論文レビュー] Fast Domain Adaptation for Neural Machine Translation

Markus Freitag, Yaser Al-Onaizan|arXiv (Cornell University)|Dec 20, 2016

Natural Language Processing Techniques参考文献 20被引用数 164

ひとこと要約

要約: 本論文は、既存のNMTシステムを新しいドメインへ適応させるために、ドメイン内データでの継続学習とベースラインのアンサンブルを組み合わせる高速な方法を提案し、アウトオブドメイン性能の劣化を防ぐ。

ABSTRACT

Neural Machine Translation (NMT) is a new approach for automatic translation of text from one human language into another. The basic concept in NMT is to train a large Neural Network that maximizes the translation performance on a given parallel corpus. NMT is gaining popularity in the research community because it outperformed traditional SMT approaches in several translation tasks at WMT and other evaluation tasks/benchmarks at least for some language pairs. However, many of the enhancements in SMT over the years have not been incorporated into the NMT framework. In this paper, we focus on one such enhancement namely domain adaptation. We propose an approach for adapting a NMT system to a new domain. The main idea behind domain adaptation is that the availability of large out-of-domain training data and a small in-domain training data. We report significant gains with our proposed method in both automatic metrics and a human subjective evaluation metric on two language pairs. With our adaptation method, we show large improvement on the new domain while the performance of our general domain only degrades slightly. In addition, our approach is fast enough to adapt an already trained system to a new domain within few hours without the need to retrain the NMT model on the combined data which usually takes several days/weeks depending on the volume of the data.

研究の動機と目的

• ニューロ翻訳(NMT)におけるドメイン適応の必要性を動機づける。
• ベースラインのアウトオブドメインNMTモデルを再利用し、ドメイン内データで適応させる高速な適応手法を提案する。
• 自動指標と人間評価を用いて、German→EnglishおよびChinese→Englishで適応を評価する。
• 継続学習モデルとベースラインをアンサンブルすることで、一般ドメイン品質を維持しつつドメイン内性能を向上させることを示す。

提案手法

• Bi-GRUエンコーダと注意機構を用いた注意機構付きエンコーダ/デコーダNMTモデルを用いる。
• 適応は、ドメイン外のベースラインモデルをドメイン内データで継続学習して行う（継続モデル）。
• デコード時に継続モデルとベースラインモデルをアンサンブルして過学習を抑制する。
• BLEUとTERで評価するほか、ドメイン内サンプルで人間評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みNMTモデルを、アウトオブドメイン性能を大きく損なうことなく、ドメイン内データのみを用いて迅速に新しいドメインへ適応できるか。
• RQ2 継続学習モデルとベースラインをアンサンブルすることで過学習を抑制し、一般ドメイン品質を保持できるか。
• RQ3 異なるドメイン特性を持つ言語ペア（German→English、Chinese→English）で適応はどのように機能するか。

主な発見

• ドメイン内データでの継続学習を用いた適応は、ドメイン内で大きな利得を生み出す（ケースによっては約9.9 BLEUポイント、約12.2 TERポイント程度）。
• 継続モデルをベースラインとアンサンブルすることで、ドメイン外の品質を維持しつつドメイン内の利得を提供できる（例として、いくつかの設定で最大7.2 BLEUと10 TER程度）。
• 継続学習を2エポック行うだけで、ドメイン内性能を強力に達成でき、アウトオブドメインデータへの影響は最小限に留まる。長時間の継続は過学習のリスク。
• 人間の判断は自動指標を裏付け、継続モデルとアンサンブルの両方がベースラインよりドメイン内データで改善を示す。
• この手法はGerman→EnglishとChinese→Englishで実証され、対応する適応ダイナミクスがTables 2と6に記録されている。