[論文レビュー] Data Diversification: An Elegant Strategy For Neural Machine Translation.

Xuan-Phi Nguyen, Shafiq Joty+2 more|arXiv (Cornell University)|Nov 5, 2019

Natural Language Processing Techniques被引用数 10

ひとこと要約

本論文では、複数の前向きおよび後向きNMTモデルからの予測を用いて訓練データを拡張し、元のデータセットと統合することで、ニューラル機械翻訳（NMT）の性能を向上させるシンプルだが効果的な戦略、Data Diversificationを提案する。この手法は、追加の単語彙データやモデルの複雑さを増さずに、WMT'14英語＝ドイツ語および英語＝フランス語タスクでそれぞれ30.7および43.7の最先端BLEUスコアを達成した。

ABSTRACT

We introduce Data Diversification: a simple strategy to boost neural machine translation (NMT) performance. It diversifies the training data by using the predictions of multiple forward and backward models and then merging them with the original dataset on which the final NMT model is trained. Our method is applicable to all NMT models. It does not require extra monolingual data like back-translation, nor does it add more computations and parameters like ensembles of models. In the experiments, our method achieves state-of-the-art BLEU score of 30.7 & 43.7 in the WMT'14 English-German & English-French tasks. It also substantially improves on 8 other translation tasks: 4 IWSLT tasks (English-German and English-French) and 4 low-resource translation tasks (English-Nepali and English-Sinhala). We demonstrate that our method is more effective than knowledge distillation and dual learning, it exhibits strong correlation with ensembles of models, and it trades perplexity off for better BLEU score. We have released our source code at https://github.com/nxphi47/data_diversification

研究の動機と目的

• 追加の単語彙データやモデルアンサンブルに依存せずに、ニューラル機械翻訳（NMT）の性能を向上させること。
• 低リソースおよび通常の翻訳設定において、バックトランスレーションや知識蒸留といった既存のデータ拡張技術の限界を克服すること。
• 推論効率を維持しながら、訓練データの多様性を高める軽量でモデルに依存しない戦略を開発すること。
• 低リソースおよびIWSLTベンチマークを含む多様な翻訳タスクで一貫した向上を示すこと。
• モデルアンサンブルと強く相関するが、その計算的・パラメータ的負担を回避する手法を確立すること。

提案手法

• 同じ平行単語彙データ上で複数の前向きおよび後向きNMTモデルを訓練し、合成翻訳ペairを生成する。
• これらのモデルの予測を用いて、最終的なNMTモデルのための多様で高品質な訓練例を生成する。
• 合成データを元の平行訓練データと統合して拡張された訓練セットを構築する。
• 最終的なNMTモデルを結合されたデータセット上で訓練し、実際の翻訳とモデル生成翻訳の両方を活用する。
• このアプローチはモデルに依存せず、アーキテクチャの変更や追加パラメータを必要としない。
• 直接的に多様でモデル予測された例で訓練データを豊かにすることで、バックトランスレーションや知識蒸留の必要性を回避する。

実験結果

リサーチクエスチョン

• RQ1 追加の単語彙データやモデルアンサンブルを必要とせずに、データ多様化がNMTの性能を向上させられるか？
• RQ2 知識蒸留やデュアルラーニングと比較して、提案手法の翻訳品質および訓練効率はどの程度か？
• RQ3 データ多様化は、モデルアンサンブルの性能とどの程度相関するか？
• RQ4 この手法は、低リソースおよびIWSLTベンチマークを含む多様な翻訳タスクに一般化可能か？
• RQ5 BLEUスコアの向上を、逆にパープレクサリティのわずかな上昇と引き換えに達成できるか。これは一般化性能の向上を示唆する。

主な発見

• Data Diversificationは、WMT'14英語＝ドイツ語翻訳タスクで最先端のBLEUスコア30.7を達成した。
• WMT'14英語＝フランス語翻訳タスクでは、43.7のBLEUスコアを達成し、既存の手法を上回った。
• 4つのIWSLTタスクおよび英語＝ネパール語、英語＝シンハラ語などの4つの低リソース設定を含む、8つの追加翻訳タスクでも顕著な性能向上を示した。
• 知識蒸留やデュアルラーニングよりも、モデルアンサンブルの性能と強い相関を示し、その堅牢性と有効性を示した。
• わずかなパープレクサリティの上昇を犠牲にして、BLEUスコアに顕著な向上をもたらし、一般化性能および翻訳品質の向上を示唆した。
• このアプローチは多様なNMTアーキテクチャで有効であり、推論時に追加のパラメータや計算負荷を必要としない。