[論文レビュー] Neural Machine Translation Training in a Multi-Domain Scenario

Hassan Sajjad, Nadir Durrani+3 more|arXiv (Cornell University)|Aug 29, 2017

Natural Language Processing Techniques参考文献 28被引用数 51

ひとこと要約

本論文は複数の訓練戦略（data concatenation、model stacking、data selection、および multi-model ensembles）を評価し、複数ドメインのNMTシステムを構築する。結論として、out-of-domain dataを concatenating し、その後 in-domain data で fine-tune するのが最良の in-domain performance を得る一方、 stacking order と ensembles は頑健性とトレーニング効率のトレードオフを提供する。

ABSTRACT

In this paper, we explore alternative ways to train a neural machine translation system in a multi-domain scenario. We investigate data concatenation (with fine tuning), model stacking (multi-level fine tuning), data selection and multi-model ensemble. Our findings show that the best translation quality can be achieved by building an initial system on a concatenation of available out-of-domain data and then fine-tuning it on in-domain data. Model stacking works best when training begins with the furthest out-of-domain data and the model is incrementally fine-tuned with the next furthest domain and so on. Data selection did not give the best results, but can be considered as a decent compromise between training time and translation quality. A weighted ensemble of different individual models performed better than data selection. It is beneficial in a scenario when there is no time for fine-tuning an already trained model.

研究の動機と目的

• 複数ドメインを NMT 訓練にどう組み合わせるかを理解する。
• 限られた in-domain データで in-domain translation quality を最大化する戦略を特定する。
• 訓練時間、頑健性、ドメイン間の性能のトレードオフを評価する。
• concatenation、stacking、data selection、または ensemble アプローチをいつ使用するかの指針を提供する。

提案手法

• Arabic-English と German-English を TED in-domain data に加え、UN、OPUS、Europarl、Common Crawl を out-of-domain data として使用する実験。
• data concatenation と in-domain data の fine-tuning を比較する。
• domain を順次 fine-tuning していき、最後に in-domain data で終了することで model stacking をテストする。
• modified Moore-Lewis 法を用いて in-domain に最も近い out-of-domain データを選択するデータ選択を評価する。
• domain-specific models のスコアを平均化することで multi-domain ensembles を評価する（balanced および weighted）。
• Nematus を用いて attention を持つ 2-layer LSTM encoder-decoder を訓練する（512 embeddings、1000 hidden size、50k BPE）。

実験結果

リサーチクエスチョン

• RQ1 NMT 訓練中の複数ドメインを効果的に組み合わせる方法は何か。
• RQ2 限られた in-domain データを前提としたとき、どの戦略が最も良い in-domain translation quality をもたらすか。
• RQ3 quality、訓練時間、頑健性の観点で、data concatenation、model stacking、data selection、ensembles はどのように比較されるか。
• RQ4 未知のドメインへ翻訳する際、単純な連結より domain-aware な連結に利点があるか。
• RQ5 stacking における異なる domain orders は最終的な翻訳品質にどのような影響を与えるか。

主な発見

• concatenated system を in-domain data で fine-tune すると最良の in-domain performance を得られる。
• model stacking は最も遠い out-of-domain data から開始し、in-domain fine-tuning で終えるときに最も効果的である。
• 全データを concatenated したシステムは新しいドメインに対して最も頑健な性能を提供する。
• data selection は妥当なスピード-精度のトレードオフを提供するが、一般に fine-tuning で全データを使用する場合には及ばない。
• 重み付き Ensemble は再訓練が不可能な場合に単一モデルを上回ることがあるが、単一の concatenated model が依然として優れていることが多い。