[论文解读] Exploring the Robustness of NMT Systems to Nonsensical Inputs

Akshay Chaturvedi, Abijith Kp+1 more|arXiv (Cornell University)|Aug 3, 2019

Adversarial Robustness in Machine Learning参考文献 22被引用 11

一句话总结

本文提出一种基于软注意力机制的对抗性攻击方法，通过多次词语替换生成语义不通的源句，同时保持神经机器翻译（NMT）系统的翻译输出不变。该方法显著优于HotFlip和随机基线方法，表明当前最先进的NMT模型在词粒度扰动下对语义不变性具有脆弱性，暴露了其尽管BLEU分数较高，但语义理解能力仍较差的事实。

ABSTRACT

Neural machine translation (NMT) systems have been shown to give undesirable translation when a small change is made in the source sentence. In this paper, we study the behaviour of NMT systems when multiple changes are made to the source sentence. In particular, we ask the following question "Is it possible for an NMT system to predict same translation even when multiple words in the source sentence have been replaced?". To this end, we propose a soft-attention based technique to make the aforementioned word replacements. The experiments are conducted on two language pairs: English-German (en-de) and English-French (en-fr) and two state-of-the-art NMT systems: BLSTM-based encoder-decoder with attention and Transformer. The proposed soft-attention based technique achieves high success rate and outperforms existing methods like HotFlip by a significant margin for all the conducted experiments. The results demonstrate that state-of-the-art NMT systems are unable to capture the semantics of the source language. The proposed soft-attention based technique is an invariance-based adversarial attack on NMT systems. To better evaluate such attacks, we propose an alternate metric and argue its benefits in comparison with success rate.

研究动机与目标

• 探究NMT模型在经过多次词语替换后，是否会对语义不同的源句产生相同的翻译输出。
• 开发一种鲁棒的、基于软注意力机制的方法，以高成功率生成此类对抗性样本。
• 在成功率达到基础上，进一步评估基于不变性的攻击效果，提出一种新的基于BLEU的度量方法以实现更全面的评估。
• 揭示当前最先进的NMT模型（尤其是Transformer和BLSTM-attention模型）在语义鲁棒性方面的缺失。
• 强调由于对抗性样本缺乏标准参考翻译，训练鲁棒NMT系统面临重大挑战。

提出的方法

• 该方法将对抗性词语替换分解为两个子问题：识别替换位置和选择合适的替代词语。
• 采用最小梯度法（Min-Grad）识别源句中对词语替换最具影响力的词位。
• 利用软注意力机制，通过注意力权重引导词语替换，确保替换词与目标翻译的相关性。
• 该技术在保留NMT模型输出翻译不变的前提下，将子词（因子词分词而产生）替换为语义无关的词语。
• 该攻击方法应用于英德和英法双语对的BLSTM-attention与基于Transformer的NMT系统。
• 提出一种替代的基于BLEU的度量方法以评估攻击效果，相较于仅使用成功率，能提供更细致的评估。

实验结果

研究问题

• RQ1 NMT系统是否会对因多次词语替换而语义不同的两组源句产生相同的翻译？
• RQ2 与HotFlip等现有方法相比，基于软注意力机制的方法在生成此类对抗性样本方面的有效性如何？
• RQ3 哪些类型的词语（如停用词、命名实体、主题词）在不改变翻译的前提下最易被替换？
• RQ4 当前最先进的NMT模型在词粒度扰动下，其语义理解能力缺失到何种程度？
• RQ5 基于BLEU的度量方法是否能比成功率更可靠地评估基于不变性的对抗性攻击？

主要发现

• 在英德和英法双语对的所有实验中，所提出的Min-Grad+Soft-Att方法在成功率上显著优于HotFlip和随机基线方法。
• 该方法成功生成了多个词语被语义无关词语替换的对抗性样本，但NMT系统仍输出完全相同的翻译。
• 即使是非常关键的主题词和命名实体也被替换而未改变输出，表明NMT模型存在深层的语义不变性。
• 研究发现，高BLEU分数与语义鲁棒性之间无相关性，因为模型无法识别语义不通的输入。
• 所提出的基于BLEU的度量方法相较于仅使用成功率，能更全面地评估攻击效果，尤其在捕捉扰动下翻译质量方面更具信息量。
• 由于对抗性样本缺乏标准参考翻译，这给开发鲁棒训练策略带来了重大挑战，凸显了未来研究中的一个关键障碍。