[論文レビュー] A Reinforced Generation of Adversarial Examples for Neural Machine Translation

Wei Zou, Shujian Huang+3 more|arXiv (Cornell University)|Nov 9, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用数 11

ひとこと要約

この論文では、翻訳性能を低下させる一方で意味を保持する神経機械翻訳（NMT）向けの敵対的例を生成する強化学習ベースの手法を提案する。判別器を終端信号として用い、BLEUスコアの低下を最適化することで、RNN-SearchおよびTransformerモデルの両方で安定的かつ意味を保持した敵対的入力を効率的に生成する。手作業で特徴を設計する必要がなく、システムの脆弱性分析が可能となる。

ABSTRACT

Neural machine translation systems tend to fail on less decent inputs despite its significant efficacy, which may significantly harm the credibility of this systems-fathoming how and when neural-based systems fail in such cases is critical for industrial maintenance. Instead of collecting and analyzing bad cases using limited handcrafted error features, here we investigate this issue by generating adversarial examples via a new paradigm based on reinforcement learning. Our paradigm could expose pitfalls for a given performance metric, e.g., BLEU, and could target any given neural machine translation architecture. We conduct experiments of adversarial attacks on two mainstream neural machine translation architectures, RNN-search, and Transformer. The results show that our method efficiently produces stable attacks with meaning-preserving adversarial examples. We also present a qualitative and quantitative analysis for the preference pattern of the attack, demonstrating its capability of pitfall exposure.

研究の動機と目的

• 低品質な入力に対する神経機械翻訳システムの失敗要因を、高価な手作業による誤り特徴に依存せずに特定すること。
• 意味を保持しつつ翻訳性能を低下させる、モデルに依存しない効率的な敵対的例生成手法の開発。
• 翻訳システムの耐性の系統的分析を可能にするために、ターゲット側のアノテーションを一切使用せず、ソース側の単語語彙データのみを用いて敵対的例を生成すること。
• 敵対的例を攻撃の目的だけでなく、モデル出力を向上させる「強化例」としての可能性を探索し、モデルの汎化性能を向上させること。

提案手法

• 敵対的例生成のための強化学習エージェントを訓練し、ソース側の文に対して離散的なトークンレベルの摂動を加えることで、被害者となるNMTモデルのBLEUスコアを最小化する。
• 環境は、摂動を加えた入力が元の文と意味的に近いかどうかを評価するための判別器を用い、意味の保持を保証する。
• エージェントの方策はポリシー勾配法を用いて最適化され、報酬はBLEUスコアの低下度と意味的類似度に基づいて設計される。
• 被害者モデルの勾配計算やターゲット側のアノテーションを必要としないため、モデルに依存せず、効率的な運用が可能である。
• 報酬を変更した別個の学習設定を用い、「強化例」として知られる、翻訳性能を向上させる摂動を発見する。
• 単語語彙データのみを用いることで、敵対的例および強化例の大量生成が可能となる。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースの手法は、意味を保持しつつ翻訳性能を低下させるNMT向けの敵対的例を効果的に生成できるか？
• RQ2 自然言語処理分野における勾配ベースや探索ベースの敵対的例生成手法と比較して、本手法は効率性と有効性において優れているか？
• RQ3 本手法は、RNN-SearchやTransformerのような異なるNMTアーキテクチャにおいて、どの程度そのアーキテクチャ的脆弱性を露呈できるか？
• RQ4 性能を低下させる摂動とは別に、翻訳出力を向上させる摂動も同様に発見可能であり、これは敵対的防御にどのような示唆をもたらすか？
• RQ5 本手法は、モデル固有のチューニングやアノテーションを必要とせず、異なるNMTアーキテクチャに広く適用可能か？

主な発見

• 提案手法は、RNN-SearchおよびTransformerモデルの両方でBLEUスコアを低下させつつも意味を保持した敵対的例を効果的に生成した。
• 被害者モデルの勾配計算を一切行わず、ソース側の単語語彙データのみを用いることで、安定的かつ効率的な攻撃が実現された。
• 実験の結果、攻撃パターンの定性的および定量的分析を通じて、システムの欠陥を露呈できることを示し、耐性評価における実用性を裏付けた。
• 摂動を加えた入力の一部は「強化例」として分類され、翻訳性能を向上させることが確認され、モデルの汎化性能向上の可能性を示唆した。
• 本手法はモデルに依存せず、手作業による誤り特徴に依存しないため、さまざまなNMTアーキテクチャに広く適用可能である。
• 判別器に基づく報酬メカニズムにより、従来の代替損失関数や語彙置換に依存する手法よりも、意味的制約が強化された。