[論文レビュー] Robust Neural Machine Translation with Doubly Adversarial Inputs

Yong Cheng, Lu Jiang+1 more|arXiv (Cornell University)|Jun 6, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用数 37

ひとこと要約

本論文は AdvGen を導入し、NMT の doubly adversarial inputs を作成して adversarial sources で攻撃し、 adversarial targets で防御することで、中国語–英語と English–German タスクにおける翻訳品質と堅牢性を向上させる。

ABSTRACT

Neural machine translation (NMT) often suffers from the vulnerability to noisy perturbations in the input. We propose an approach to improving the robustness of NMT models, which consists of two parts: (1) attack the translation model with adversarial source examples; (2) defend the translation model with adversarial target inputs to improve its robustness against the adversarial source inputs.For the generation of adversarial inputs, we propose a gradient-based method to craft adversarial examples informed by the translation loss over the clean inputs.Experimental results on Chinese-English and English-German translation tasks demonstrate that our approach achieves significant improvements ($2.8$ and $1.6$ BLEU points) over Transformer on standard clean benchmarks as well as exhibiting higher robustness on noisy data.

研究の動機と目的

• NMT が小さな入力摂動に対して脆弱であることを動機付け、対処する。
• NMT の敵対的入力を生成する白箱型の勾配ベース手法を提案する。
• 敵対的ターゲット入力を用いる防御機構を導入し、堅牢性を向上させる。
• 清潔な入力、堅牢化、言語モデルを導く成分を組み合わせた目的関数で NMT モデルを訓練する。
• 標準ベンチマークで Transformer を上回る改善と、ノイズの多いデータでの堅牢性を示す。

提案手法

• 翻訳損失に導かれた勾配ベースの敵対的入力生成器 AdvGen を開発する。
• x' という敵対的ソース入力を生成し、perturbation 制約の下で -log P(y|x'; θ_mt) を最大化して encoder を攻撃する。
• source language model Q_src から導出された top-n 単語集合を用いて候補置換を選択する。
• ターゲット候補集合 Q_trg と attention に基づくサンプリング D_trg を用いて decoder のための敵対的ターゲット入力 z' を防御として生成する。
• 摂動ペア (x', z') を用いて頑健性損失を計算し、クリーンな言語モデル損失と組み合わせて最終的な目的関数を形成する。
• 学習は four loss components: L_clean, L_robust, and two L_lm terms for source and target language models (sharing embeddings with the MT model).

実験結果

リサーチクエスチョン

• RQ1 白箱勾配ベースの手法は、過度な摂動を伴うことなく NMT の敵対的ソース入力を効果的に生成できるか。
• RQ2 訓練中の敵対的ターゲット入力は、ソース入力の摂動に対する堅牢性を高めるか。
• RQ3 doubly adversarial inputs での訓練は、クリーンデータでの標準 Transformer のベースラインを上回り、ノイズの多いデータでも堅牢性を維持できるか。
• RQ4 敵対的成分と言語モデルの指針は翻訳品質と安定性にどのような影響を与えるか。

主な発見

• Transformer に対して標準ベンチマークでの BLEU 向上が顕著: Chinese–English で平均 +2.25 BLEU、NIST03 で最大 +2.8 BLEU。
• English–German のアンサンブル結果は Transformer: +1.04 BLEU (Trans.-Base)、+1.61 BLEU (Trans.-Big)、+1.52 BLEU (RNMT+) を上回る。
• Ours + BackTranslation はモノリンガルデータを用いると最大約 1–3 BLEU ポイントの改善をさらに加える。
• アブレーション実験では、ターゲット入力の敵対的変化が実質的な向上に寄与することを示し、言語モデルは流暢さと候補の絞り込みに寄与する。
• 堅牢性訓練を備えたモデルは人工ノイズ下でより安定しており、ノイズ割合を問わずベースラインを上回る。