[论文解读] Evaluating NLP Models via Contrast Sets

Matt Gardner, Yoav Artzi+24 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 64被引用 61

一句话总结

本文引入了对比集（contrast sets）——对测试样本进行人工构造的扰动，这些扰动在保持语义不变的同时改变了真实标签，用以揭示NLP数据集中的系统性缺陷。通过在这些对比集中评估模型，作者发现其性能显著下降（最高达25%），揭示了模型往往依赖于简单且非鲁棒的决策规则，而非真正的语言理解能力。

ABSTRACT

Standard test sets for supervised learning evaluate in-distribution generalization. Unfortunately, when a dataset has systematic gaps (e.g., annotation artifacts), these evaluations are misleading: a model can learn simple decision rules that perform well on the test set but do not capture a dataset's intended capabilities. We propose a new annotation paradigm for NLP that helps to close systematic gaps in the test data. In particular, after a dataset is constructed, we recommend that the dataset authors manually perturb the test instances in small but meaningful ways that (typically) change the gold label, creating contrast sets. Contrast sets provide a local view of a model's decision boundary, which can be used to more accurately evaluate a model's true linguistic capabilities. We demonstrate the efficacy of contrast sets by creating them for 10 diverse NLP datasets (e.g., DROP reading comprehension, UD parsing, IMDb sentiment analysis). Although our contrast sets are not explicitly adversarial, model performance is significantly lower on them than on the original test sets---up to 25\% in some cases. We release our contrast sets as new evaluation benchmarks and encourage future dataset construction efforts to follow similar annotation processes.

研究动机与目标

• 解决由于标准NLP测试集中的系统性缺陷导致的误导性模型评估问题。
• 提出一种新的标注范式，通过创建对比集来识别并修正这些缺陷。
• 通过测量模型对微小但有意义的扰动的鲁棒性，提升模型评估的准确性。
• 在10个不同类型的NLP数据集中展示对比集的有效性，表明模型在对比集上的表现显著差于原始测试集。

提出的方法

• 在数据集构建完成后，作者以小幅度、有意义的方式人工扰动测试样本，通常会改变真实标签。
• 扰动设计为在保持原始样本语境的同时，实现最小但语义显著的改变，从而改变正确标签。
• 生成的对比集为模型决策边界的局部视图，揭示其对虚假模式的依赖。
• 为10个不同类型的NLP数据集（包括DROP、IMDb以及依存句法分析任务）创建了对比集。
• 在原始测试集和对比集上均对模型进行评估，以测量性能下降程度。
• 该方法非对抗性，但通过突出因数据集人工痕迹导致的失败案例，揭示了模型的脆弱性。

实验结果

研究问题

• RQ1 由于系统性缺陷的存在，标准NLP测试集在多大程度上无法有效评估模型的真实语言能力？
• RQ2 对比集在多大程度上能暴露模型对虚假模式的依赖，而非对稳健语言理解的依赖？
• RQ3 与原始测试集相比，模型在对比集上的性能下降幅度有多大？
• RQ4 能否在多样化的NLP任务中系统性地构建对比集，使其成为可靠的评估基准？

主要发现

• 与原始测试集相比，模型在对比集上的性能显著下降，部分数据集的性能下降最高达25%。
• 性能下降表明，模型通常利用数据集的人工痕迹，而非学习可泛化的语言模式。
• 对比集成功揭示了10个不同类型NLP数据集中的系统性缺陷，涵盖阅读理解、情感分析和句法分析等任务。
• 所提出的方法无需对抗性训练或复杂优化，却能有效暴露模型的弱点。
• 对比集已作为新的评估基准发布，以鼓励未来NLP研究中构建更鲁棒的数据集。
• 该方法表明，即使非对抗性扰动，也能暴露模型泛化能力中的关键缺陷。