[论文解读] A Reinforced Generation of Adversarial Examples for Neural Machine Translation

Wei Zou, Shujian Huang+3 more|arXiv (Cornell University)|Nov 9, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用 11

一句话总结

本文提出了一种基于强化学习的方法，用于生成神经机器翻译（NMT）的对抗性样本，这些样本在降低翻译性能的同时保持语义意义。通过使用判别器作为终端信号，并优化BLEU分数的下降，该方法能够高效地在RNN-Search和Transformer模型上生成稳定、语义保持的对抗性输入，从而在无需手工特征的情况下实现对系统脆弱性的有效分析。

ABSTRACT

Neural machine translation systems tend to fail on less decent inputs despite its significant efficacy, which may significantly harm the credibility of this systems-fathoming how and when neural-based systems fail in such cases is critical for industrial maintenance. Instead of collecting and analyzing bad cases using limited handcrafted error features, here we investigate this issue by generating adversarial examples via a new paradigm based on reinforcement learning. Our paradigm could expose pitfalls for a given performance metric, e.g., BLEU, and could target any given neural machine translation architecture. We conduct experiments of adversarial attacks on two mainstream neural machine translation architectures, RNN-search, and Transformer. The results show that our method efficiently produces stable attacks with meaning-preserving adversarial examples. We also present a qualitative and quantitative analysis for the preference pattern of the attack, demonstrating its capability of pitfall exposure.

研究动机与目标

• 为解决在不依赖昂贵手工构建的错误特征的前提下，识别神经机器翻译系统在低质量输入下的故障点这一挑战。
• 开发一种与模型无关、高效的对抗性样本生成方法，该方法在降低翻译性能的同时保持语义意义。
• 通过仅使用源端单语数据生成对抗性样本，实现对NMT系统鲁棒性的系统性分析。
• 探索对抗性样本不仅用于攻击，还用于通过“强化样本”提升翻译质量的潜力，从而增强模型输出。

提出的方法

• 训练一个强化学习智能体，对源端句子施加离散的词级别扰动，以最小化目标NMT模型的BLEU分数。
• 环境使用判别器评估扰动后的输入是否与原始输入在语义上保持接近，从而确保语义保持。
• 使用策略梯度方法优化智能体的策略，奖励函数结合BLEU分数下降程度与语义相似度。
• 该方法无需目标端标注或对目标模型进行梯度计算，因此具有与模型无关性且效率较高。
• 通过使用修改后奖励的独立训练设置，发现“强化样本”——即能提升翻译性能的扰动。
• 该方法仅依赖单语源数据，可实现对抗性样本与强化样本的大规模生成。

实验结果

研究问题

• RQ1 基于强化学习的方法能否生成既保持语义又有效降低NMT翻译性能的对抗性样本？
• RQ2 与基于梯度或基于搜索的NLP对抗性生成方法相比，该方法在效率和有效性方面表现如何？
• RQ3 该方法在多大程度上能暴露不同NMT模型（如RNN-Search和Transformer）的架构脆弱性？
• RQ4 是否存在能降低性能的扰动，同时也存在能提升翻译输出的扰动？这对对抗防御意味着什么？
• RQ5 该方法是否适用于不同NMT架构，而无需进行模型特定的调优或标注？

主要发现

• 所提出的方法成功在RNN-Search和Transformer模型上生成了降低BLEU分数的对抗性样本，同时保持了语义意义。
• 该方法仅使用源端单语数据，无需对目标模型进行梯度计算，实现了稳定且高效的攻击。
• 实验表明，通过攻击模式的定性与定量分析，该方法能够暴露系统缺陷，证明其在鲁棒性评估中的实用性。
• 在部分扰动输入中，发现了一类被称为“强化样本”的特殊类型，其能提升翻译性能，暗示该方法在提升模型泛化能力方面具有潜力。
• 该方法具有与模型无关性，且不依赖手工构建的错误特征，因此可广泛适用于不同NMT架构。
• 采用基于判别器的奖励机制，相比依赖代理损失或词汇替换的先前方法，能施加更强的语义约束。