[論文レビュー] Data Diversification: A Simple Strategy For Neural Machine Translation

Xuan-Phi Nguyen, Shafiq Joty+2 more|arXiv (Cornell University)|Nov 5, 2019

Natural Language Processing Techniques参考文献 38被引用数 44

ひとこと要約

本論文は Data Diversification という単純な訓練データ拡張手法を提案します。複数の forward および backward NMT モデルを用いて合成データを生成し、追加のモノリンガルデータなしで複数の WMT/IWSLT タスクで BLEU スコアを改善します。

ABSTRACT

We introduce Data Diversification: a simple but effective strategy to boost neural machine translation (NMT) performance. It diversifies the training data by using the predictions of multiple forward and backward models and then merging them with the original dataset on which the final NMT model is trained. Our method is applicable to all NMT models. It does not require extra monolingual data like back-translation, nor does it add more computations and parameters like ensembles of models. Our method achieves state-of-the-art BLEU scores of 30.7 and 43.7 in the WMT'14 English-German and English-French translation tasks, respectively. It also substantially improves on 8 other translation tasks: 4 IWSLT tasks (English-German and English-French) and 4 low-resource translation tasks (English-Nepali and English-Sinhala). We demonstrate that our method is more effective than knowledge distillation and dual learning, it exhibits strong correlation with ensembles of models, and it trades perplexity off for better BLEU score. We have released our source code at https://github.com/nxphi47/data_diversification

研究の動機と目的

• NMT の性能を向上させるための非侵襲的なデータ拡張戦略を動機づける。
• forward および backward モデルから合成データを作成する多様化フレームワークを開発する。
• 高資源言語ペアと低資源言語ペアの両方で手法を評価し、関連アプローチと比較する。

提案手法

• 並列データ上で複数の forward および backward NMT モデルを訓練する。
• forward および backward モデルで S および T を翻訳して合成翻訳を生成する。
• 複数ラウンドおよび多様化係数 (k, N) を介して両方向からの合成データを含め、元のデータセットを拡張する。
• パラメータを増やさず、拡張データセット上で最終的な S→T モデルを訓練する。
• エン ensemble との相関、困惑度（perplexity）と BLEU の関係、および初期化と forward-translation の影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 追加のモノリンガルデータやアーキテクチャ変更なしで、データ多様化は MT の品質を向上させることができるか。
• RQ2 多様化はモデル・アンサンブルと perplexity と BLEU の関係とどう結びつくか。
• RQ3 多様化パラメータ (k, N) がタスク間の性能に与える影響は何か。
• RQ4 データ多様化において forward-translation は backward-translation と同様に有益か。
• RQ5 モノリンガルデータが利用可能な場合、手法は back-translation を補完するか。

主な発見

方法	WMT’14 En-De BLEU	WMT’14 En-Fr BLEU
Baseline Transformer	28.4	41.8
Our Data Diversification with Scale Transformer	30.7	43.7

• Scale Transformer を用いて WMT’14 En-De (30.7) および En-Fr (43.7) で SOTA BLEU を達成し、従来の非侵襲的手法を上回る。
• 4つの IWSLT タスクと4つの低資源タスクで 1.0–2.0 BLEU の利得をもたらし、いくつかの設定でバックトランスレーションのベースラインを上回ることが多い。
• 知識蒸留およびマルチエージェントデュアルラーニングを上回り、アンサンブルと高い相関を示す一方で推論コストの増加は不要。
• データ多様化は perplexity の一部を犠牲にして BLEU を高める傾向があり、検証時の perplexity が高くてもより良い一般化を示す。
• forward 多様化が通常 backward より大きな利得を生み、双方向多様化がテストされた変種の中で最良の結果を提供する。
• ハイパーパラメータ研究は k を増やすと飽和点まで利得が得られ、N を増やすとコストに対する収益が逓減することを示す。
• バックトランスレーションを補完するものであり、追加のモノリンガルデータがある場合、データ多様化は BT 単独を超えるさらなる BLEU 増分をもたらす。