[论文解读] Calling Out Bluff: Attacking the Robustness of Automatic Scoring Systems with Simple Adversarial Testing.

Yaman Kumar, Mehar Bhatia+4 more|arXiv (Cornell University)|Jul 14, 2020

Adversarial Robustness in Machine Learning参考文献 12被引用 11

一句话总结

本文提出了一种与任务无关的对抗性评估方案，通过模拟学生常见的行为（如无关或无意义的回答）来测试自动作文评分（AES）系统的鲁棒性和自然语言理解能力。该方法揭示了当前最先进AES模型中的显著漏洞，暴露了其在标准指标（如加权加权 kappa）表现优异的情况下，仍缺乏真正理解能力的缺陷。

ABSTRACT

A significant progress has been made in deep-learning based Automatic Essay Scoring (AES) systems in the past two decades. The performance commonly measured by the standard performance metrics like Quadratic Weighted Kappa (QWK), and accuracy points to the same. However, testing on common-sense adversarial examples of these AES systems reveal their lack of natural language understanding capability. Inspired by common student behaviour during examinations, we propose a task agnostic adversarial evaluation scheme for AES systems to test their natural language understanding capabilities and overall robustness.

研究动机与目标

• 解决自动作文评分（AES）系统在标准指标上表现优异但实际自然语言理解能力不足的差距问题。
• 探究AES模型是否可被简单、符合常识的对抗性样本欺骗，这些样本模仿学生考试时的行为。
• 开发一种与任务无关的评估框架，以超越标准性能指标来测试AES系统的鲁棒性。
• 揭示当前AES模型在语义连贯性和上下文相关性理解方面的局限性。
• 为现实教育环境中AES系统可靠性的评估提供一种实用且可解释的方法。

提出的方法

• 通过在文章中引入符合常识的违反行为（如无意义的陈述或无关内容）来生成对抗性样本，以模拟学生的考试行为。
• 将这些对抗性样本应用于现有的AES系统，无需进行模型特定的修改，从而确保与任务无关的评估。
• 评估依赖于在暴露于对抗性输入时，标准指标（如加权加权 kappa）的性能下降程度。
• 该方法受到学生在考试中可能对错误推理或不合逻辑答案‘揭穿谎言’方式的启发。
• 采用简单且可解释的转换策略来扰动文章，同时保持语法结构不变，但破坏语义连贯性。
• 在多个AES系统上应用该框架，以比较其在对抗性条件下的鲁棒性。

实验结果

研究问题

• RQ1 是否简单的违反常识的对抗性样本能够暴露自动作文评分系统的弱点？
• RQ2 高性能AES模型在面对语义不连贯或无关的回答时，其失败程度如何？
• RQ3 当使用模拟学生考试行为的对抗性样本进行测试时，AES系统的性能会如何下降？
• RQ4 标准评估指标与AES系统的真实自然语言理解能力之间是否存在脱节？
• RQ5 与任务无关的对抗性评估方案是否能有效衡量AES模型的鲁棒性？

主要发现

• 尽管在标准基准上得分很高，AES系统在使用违反常识的对抗性样本评估时表现出显著的性能下降。
• 在对抗性测试下加权加权 kappa 分数的下降表明，模型依赖于表面模式而非深层语义理解。
• 即使是很小的、语义不连贯的扰动，也能大幅降低评分的一致性，表明其鲁棒性差。
• 结果表明，高分指标与真实理解之间存在明显差距，说明当前的评估实践是不足的。
• 所提出的对抗性评估方案成功识别出多个数据集和架构中当前最先进AES模型的漏洞。
• 该方法为在标准性能指标之外，提供了一种实用且可解释的AES系统可靠性评估方式。