[论文解读] Elephant in the Room: An Evaluation Framework for Assessing Adversarial Examples in NLP

Ying Xu, Xu Zhong+2 more|arXiv (Cornell University)|Jan 22, 2020

Adversarial Robustness in Machine Learning参考文献 25被引用 9

一句话总结

本文提出了一套全面的NLP对抗样本评估框架，结合自动指标与人工评估，以衡量四个关键标准：攻击成功率、文本相似度、流畅度和标签保留性。研究发现，大多数现有攻击方法生成的对抗样本在流畅度和语义内容上存在明显损失，许多方法通过翻转情感标签实现‘作弊’，从而削弱了其在对抗训练中的实用性。

ABSTRACT

An adversarial example is an input transformed by small perturbations that machine learning models consistently misclassify. While there are a number of methods proposed to generate adversarial examples for text data, it is not trivial to assess the quality of these adversarial examples, as minor perturbations (such as changing a word in a sentence) can lead to a significant shift in their meaning, readability and classification label. In this paper, we propose an evaluation framework consisting of a set of automatic evaluation metrics and human evaluation guidelines, to rigorously assess the quality of adversarial examples based on the aforementioned properties. We experiment with six benchmark attacking methods and found that some methods generate adversarial examples with poor readability and content preservation. We also learned that multiple factors could influence the attacking performance, such as the length of the text inputs and architecture of the classifiers.

研究动机与目标

• 为解决NLP中对抗样本缺乏系统性评估的问题，尤其是超越攻击成功率的评估。
• 识别现有评估协议中常被忽视的关键质量维度——文本相似度、流畅度和标签保留性。
• 开发一种结合自动指标与人工标注的双重评估框架，以严格评估对抗样本的质量。
• 研究模型架构、输入长度和攻击类型如何影响对抗样本的质量与可迁移性。
• 证明许多当前方法生成的对抗样本质量低下，通过翻转情感标签实现‘作弊’，限制了其在提升模型鲁棒性方面的价值。

提出的方法

• 提出一个四维评估框架：(a) 攻击成功率，(b) 文本相似度（通过BLEU和SEM测量），(c) 流畅度（通过ACPT测量），(d) 情感标签保留性。
• 通过众包方式进行人工评估，针对每个样本提出三个独立问题，以评估内容保留性、流畅度和情感一致性。
• 使用自动指标——BLEU、SEM（语义嵌入相似度）和ACPT（基于n-gram语言模型的流畅度评分）——量化语言质量。
• 在情感分类任务中，于白盒和黑盒设置下测试六种基准攻击方法（包括TextFooler、HotFlip、FGSM、FGVM、DeepFool和TYC）。
• 将自动指标得分与人工标注结果进行对比，以验证各项指标在捕捉人类判断方面的一致性。
• 分析各方法在可迁移性与计算效率方面的表现，以评估对抗样本生成中的实际权衡。

实验结果

研究问题

• RQ1 现有NLP对抗攻击方法在超越单纯欺骗分类器的前提下，能在多大程度上保留原始句子的语义和流畅度？
• RQ2 自动指标（如BLEU、SEM、ACPT）在多大程度上与人类对文本相似度、流畅度和情感保留性的判断保持一致？
• RQ3 为何某些攻击方法，尤其是在Yelp50等短篇、情感强烈的文本上，尽管攻击成功率高，却仍难以保留语义内容和流畅度？
• RQ4 模型架构（如CNN与LSTM）和输入长度在多大程度上影响对抗样本的质量与可迁移性？
• RQ5 当前方法在多大程度上通过翻转情感标签而非生成语义连贯的对抗样本实现‘作弊’？”

主要发现

• TextFooler在所有评估标准上均生成质量最高的对抗样本，在内容保留和流畅度方面表现优异，但可迁移性最差。
• HotFlip在流畅度和内容保留方面与TextFooler表现相当，且保持了较高的攻击成功率，但同样面临可迁移性差的问题。
• TYC生成的对抗样本具有更好的可迁移性，但流畅度和内容保留性显著更差，表明可迁移性与质量之间存在权衡。
• FGSM、FGVM和DeepFool在所有质量指标上表现欠佳，主要因直接扰动词嵌入而未进行词级替换，导致输出不连贯或不自然。
• 攻击成功率与情感标签翻转之间存在强相关性：许多方法通过将正面词替换为负面词实现高成功率，从而削弱了其在对抗训练中的价值。
• 自动指标ACPT与人类对流畅度的判断高度一致，而BLEU则可靠性较低——例如，HotFlip在Yelp50上的BLEU得分虽高，但人类评分显示其重述质量差。