[論文レビュー] Domain, Translationese and Noise in Synthetic Data for Neural Machine Translation

Nikolay Bogoychev, Rico Sennrich|arXiv (Cornell University)|Nov 6, 2019

Natural Language Processing Techniques参考文献 45被引用数 41

ひとこと要約

tldr: 本論文は神経機械翻訳における前方翻訳と後方翻訳をデータ拡張として分析し、テストデータの元言語、翻訳言語性、データ品質がBLEUと人間評価に jointly 影響を与えることを示し、前方翻訳は母語ソーステキストで効果的である一方、後方翻訳はより流暢な出力を生む。

ABSTRACT

The quality of neural machine translation can be improved by leveraging additional monolingual resources to create synthetic training data. Source-side monolingual data can be (forward-)translated into the target language for self-training; target-side monolingual data can be back-translated. It has been widely reported that back-translation delivers superior results, but could this be due to artefacts in the test sets? We perform a case study using French-English news translation task and separate test sets based on their original languages. We show that forward translation delivers superior gains in terms of BLEU on sentences that were originally in the source language, complementing previous studies which show large improvements with back-translation on sentences that were originally in the target language. To better understand when and why forward and back-translation are effective, we study the role of domains, translationese, and noise. While translationese effects are well known to influence MT evaluation, we also find evidence that news data from different languages shows subtle domain differences, which is another explanation for varying performance on different portions of the test set. We perform additional low-resource experiments which demonstrate that forward translation is more sensitive to the quality of the initial translation system than back-translation, and tends to perform worse in low-resource settings.

研究の動機と目的

• Synthetic data from forward and back-translation が NMT の性能に与える影響を調査する。
• テストセットの元言語（Original vs. Translationese）が synthetic data からの改善をどのように修飾するかを検討する。
• ドメインと翻訳言語性の影響を探り、synthetic data の品質が拡張方向とどのように相互作用するかを検討する。
• augmented MT システムにおいて BLEU が人間の判断と一致するかを評価する。

提案手法

• 前方翻訳および後方翻訳によって生成された合成データを用いた、英仏間のバイリンガル MT システムを、Transformer および RNN のベースラインと比較しながら学習させる。
• Original (source-generated French) と Reverse (translationese French) の部分にテストセットを分割し、方向特異的なBLEUを評価する。
• システム間の適切性と流暢さを比較するため、 subset に対して人間評価を実施する。
• 翻訳言語性とドメイン効果を識別するための language-model experiments を実施する。
• Estonian→English および Finnish→English で一般化可能性を検証し、データ品質の感度を分析する。

実験結果

リサーチクエスチョン

• RQ1 Forward translation が Original portion のテストデータで Back-translation を上回り、Reverse portion では逆になるか。
• RQ2 翻訳言語性とドメイン差が、Forward と Back-translation の性能差を説明するか。
• RQ3 synthetic data generator の品質が Forward と Back-translation からの相対的な利得にどう影響するか。
• RQ4 自動BLEUスコアは、合成データ拡張手法を跨いで人間の判断と一致するか。
• RQ5 synthetic data で訓練したモデルは、文の元のソースドメインを信頼性高く予測できるか。

主な発見

System	2008	2009	2010	2011	2012	2013
Original (French source) Baseline	29.4	44.2	32.9	32.3	37.3	47.4
Original (French source) BT_transformer	28.0	41.8	30.0	30.3	34.0	45.8
Original (French source) BT_rnn	29.3	42.2	31.7	31.5	34.6	46.9
Original (French source) FWD_transformer	29.0	43.8	32.3	32.4	36.4	49.0
Original (French source) FWD_rnn	30.9	45.1	32.0	33.1	38.3	48.3
Reverse (Translationese French source) Baseline	29.1	29.6	37.3	45.3	34.5	35.4
Reverse (Translationese French source) BT_transformer	31.6	32.9	42.6	50.8	39.3	39.5
Reverse (Translationese French source) BT_rnn	32.1	33.4	43.3	50.5	39.0	38.4
Reverse (Translationese French source) FWD_transformer	28.0	28.7	36.7	44.5	33.7	35.2
Reverse (Translationese French source) FWD_rnn	27.5	28.1	36.0	43.0	33.0	33.9
Full test set Baseline	29.2	37.3	35.2	38.8	35.9	41.6
Full test set BT_transformer	30.0	37.6	36.1	40.7	36.8	42.9
Full test set BT_rnn	30.9	38.1	37.3	40.5	36.9	42.5
Full test set FWD_transformer	28.5	36.7	34.4	38.5	35.0	42.2
Full test set FWD_rnn	29.0	37.1	33.9	38.0	35.6	41.5

• Forward translation often yields higher BLEU than back-translation on the Original French source portion.
• Back-translation typically offers better fluency in human judgments across directions.
• BLEU differences can be large (up to several points) depending on test-set original language, while human adequacy shows smaller differences.
• Language-model analyses indicate both translationese and domain differences contribute to observed effects; effects balance in some EN↔FR variants.
• Forward translation is more sensitive to the quality of the initial translation system than back-translation; in very low-quality synthetic data, gains shrink more for forward translation.