[論文レビュー] Synthetic and Natural Noise Both Break Neural Machine Translation

Yonatan Belinkov, Yonatan Bisk|arXiv (Cornell University)|Nov 6, 2017

Natural Language Processing Techniques参考文献 42被引用数 399

ひとこと要約

本論文は、最先端の文字ベースのNMTモデルが合成ノイズと自然ノイズの両方に対して脆弱であることを示し、構造不変表現と敵対的訓練（ノイズ耐性を持つ charCNN）を提案して頑健性の向上を図る。

ABSTRACT

Character-based neural machine translation (NMT) models alleviate out-of-vocabulary issues, learn morphology, and move us closer to completely end-to-end translation systems. Unfortunately, they are also very brittle and easily falter when presented with noisy data. In this paper, we confront NMT models with synthetic and natural sources of noise. We find that state-of-the-art models fail to translate even moderately noisy texts that humans have no trouble comprehending. We explore two approaches to increase model robustness: structure-invariant word representations and robust training on noisy texts. We find that a model based on a character convolutional neural network is able to simultaneously learn representations robust to multiple kinds of noise.

研究の動機と目的

• 合成ノイズと自然ノイズが最先端の文字ベースNMTシステムに与える影響を評価する。
• ノイズのある入力下でのNMTの頑健性戦略を調査する。
• 構造不変表現と敵対的訓練を用いた機械翻訳のノイズ耐性を評価する。
• 複数の言語ペアとノイズタイプに渡って性能を比較する。

提案手法

• 文字情報を用いた3つのNMTアーキテクチャを評価する（char2char、BPEを用いたNematus、そしてcharCNNによる単語表現）。
• ソース文に自然ノイズと合成ノイズを生成して注入する（Swap、Middle Random、Fully Random、Keyboard Typo、さらにコーパス由来の自然誤り）。
• クリーンとノイズ入り入力のBLEUで頑健性を検証し、失敗を分析する。
• 構造不変な語表現（meanChar）を検討し、ノイズデータで訓練したモデル（ブラックボックス的敵対的訓練）と混合ノイズアンサンブルを検討する。
• 再現性のためのノイズ生成コードとデータの公開を提供する。

実験結果

リサーチクエスチョン

• RQ1 合成ノイズと自然ノイズの語レベル/文字レベルが、言語間で翻訳品質にどのような影響を与えるか。
• RQ2 構造不変な表現や敵対的訓練は、さまざまなノイズタイプに対する文字ベースのNMTモデルの頑健性を改善できるか。
• RQ3 MTの頑健性を評価する際、合成ノイズが自然な人間の誤りを反映する際の限界は何か。
• RQ4 混合ノイズ訓練は、単一ノイズ訓練よりも広範な頑健性をもたらすか。

主な発見

Language	Model	Vanilla	Swap	Mid	Rand	Key	Nat	Ave
French	charCNN	42.54	10.52	9.71	1.71	8.26	17.42	23.20
French	char2char	29.97	5.68	5.46	0.28	2.96	12.68	16.43
French	Nematus	34.22	3.39	5.16	0.29	0.61	10.68	?
German	charCNN	34.79	9.25	8.37	1.02	6.40	14.02	25.?
German	char2char	29.65	2.94	4.09	0.66	1.41	11.88	?
German	Nematus	?	3.39	5.16	0.29	0.61	10.68	?
Czech	charCNN	25.99	6.56	6.67	1.50	7.13	10.20	?
Czech	char2char	25.71	3.90	4.24	0.25	2.88	11.42	?
Czech	Nematus	29.65	2.94	4.09	0.66	1.41	11.88	?

• すべてのモデルは、自然ノイズを含むノイズ付きテキストでBLEUが著しく低下する。
• ノイズ耐性訓練を備えたCharCNNは複数のノイズタイプに対処できるが、自然ノイズは依然として難しい。
• MeanChar表現はシャッフルには頑健だが、他のノイズタイプでは性能が劣り、言語間で一貫して頑健とは言えない。
• 特定のノイズタイプで訓練するとそのノイズでのテスト時性能が向上するが、ノイズファミリー全体に普遍的にはならない。混合ノイズ訓練（Rand+Key+Nat）が最も平均的な頑健性を示す。
• 自然ノイズはしばしば音韻的/音声学的誤りや省略に起因し、合成ノイズだけでは完全に捉えられないため、頑健性のギャップを説明する。