[論文レビュー] Towards Robust Neural Machine Translation

Yong Cheng, Zhaopeng Tu+3 more|arXiv (Cornell University)|May 16, 2018

Natural Language Processing Techniques参考文献 31被引用数 19

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）モデルの微小な入力摂動に対する耐性を高めるために、敵対的安定訓練を提案する。元の入力と摂動を加えた入力の両方に対してエンコーダーとデコーダーを同時に最適化し、一貫した表現と出力を得ることで、中国語-英語、英語-ドイツ語、英語-フランス語の翻訳タスクにおいて翻訳性能と耐性の両方を向上させ、GNMTなどの強力なベースラインを上回り、CNNベースのモデルと同等の結果を達成する。

ABSTRACT

Small perturbations in the input can severely distort intermediate representations and thus impact translation quality of neural machine translation (NMT) models. In this paper, we propose to improve the robustness of NMT models with adversarial stability training. The basic idea is to make both the encoder and decoder in NMT models robust against input perturbations by enabling them to behave similarly for the original input and its perturbed counterpart. Experimental results on Chinese-English, English-German and English-French translation tasks show that our approaches can not only achieve significant improvements over strong NMT systems but also improve the robustness of NMT models.

研究の動機と目的

• 微小な入力摂動（例：同義語置換やスペルミス）に対して脆弱であるNMTモデルの問題を解決すること。
• 敵対的訓練を通じて、翻訳品質と耐性を同時に向上させること。
• ノイズの多い入力に一般化しやすい、摂動不変なエンコーダーと安定したデコーダーを構築すること。
• アーキテクチャに依存しない訓練フレームワークを構築し、さまざまな摂動タイプに拡張可能であること。
• 複数の言語対に対して手法を検証し、BLEUスコアと耐性指標の両方で一貫した向上を示すこと。

提案手法

• 元の入力と摂動を加えた入力の両方に対して、エンコーダーが類似した隠れ表現を生成するよう促す敵対的安定訓練を提案する。
• 判別器ネットワークを用いて、元の入力と摂動を加えた入力の表現を区別させ、エンコーダーが微小な摂動に対して不変になるよう促す。
• 勾配に基づく手法を用いて入力に敵対的摂動を加え、トレーニング中に現実的なノイズ付き入力を生成する。
• デコーダーにおいて、元の入力と摂動を加えた入力の両方の尤度を同時に最大化することで、生成動作の安定化を図る。
• 2種類の摂動戦略を導入：単語レベルの同義語置換と、勾配に基づく敵対的単語置換。
• 標準的なMLE損失、敵対的損失、逆損失を組み合わせた複合損失を用いて、訓練の安定性を高める。

実験結果

リサーチクエスチョン

• RQ1 敵対的安定訓練は、同義語置換などの微小な入力摂動に対してNMTモデルの耐性を向上させることができるか？
• RQ2 敵対的訓練は、翻訳品質と耐性を同時に向上させることができるのか、それとも一方を犠牲にして他方を高めるのか？
• RQ3 本手法は、低リソース言語や屈曲語彙を有する言語対に対しても効果的か？
• RQ4 本手法は、アーキテクチャの変更なしに、さまざまなNMTアーキテクチャに適用可能か？
• RQ5 敵対的安定訓練の訓練安定性は、標準的なMLE訓練と比較してどうか？

主な発見

• 提案手法の敵対的安定訓練により、MLE訓練と比較して平均で最大7.0ポイントのBLEUスコア向上が達成され、評価されたすべての言語対で顕著な向上が見られた。
• 中国語-英語翻訳タスクでは、34.2のBLEUスコアを達成し、強力なGNMTベースラインを上回った。
• 翻訳の一貫性が向上：同義語置換後に翻訳が変化した割合は30.26%にまで低下したが、非耐性モデルでは69.74%であった。
• 敵対的摂動に対しても高い耐性を維持し、元の翻訳と摂動を加えた翻訳間のBLEUスコアが79.01にまで上昇し、強い一貫性を示した。
• 訓練曲線では初期段階に振動が見られたが、10万イテレーション目以降に安定して収束し、判別器が区別できなくなる（損失～0.68）ことから、効果的な不変性学習が達成された。
• 本手法は、さまざまなアーキテクチャや摂動タイプに一般化可能であり、透明性と拡張性に優れている。