[论文解读] Evaluating Models' Local Decision Boundaries via Contrast Sets

Matt Gardner, Yoav Artzi+24 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 71被引用 44

一句话总结

本文介绍对照集作为专家设计的局部扰动，围绕测试样本以探测模型的局部决策边界，揭示在10个NLP数据集上的鲁棒性差距，对对照集的性能显著下降。

ABSTRACT

Standard test sets for supervised learning evaluate in-distribution generalization. Unfortunately, when a dataset has systematic gaps (e.g., annotation artifacts), these evaluations are misleading: a model can learn simple decision rules that perform well on the test set but do not capture a dataset's intended capabilities. We propose a new annotation paradigm for NLP that helps to close systematic gaps in the test data. In particular, after a dataset is constructed, we recommend that the dataset authors manually perturb the test instances in small but meaningful ways that (typically) change the gold label, creating contrast sets. Contrast sets provide a local view of a model's decision boundary, which can be used to more accurately evaluate a model's true linguistic capabilities. We demonstrate the efficacy of contrast sets by creating them for 10 diverse NLP datasets (e.g., DROP reading comprehension, UD parsing, IMDb sentiment analysis). Although our contrast sets are not explicitly adversarial, model performance is significantly lower on them than on the original test sets---up to 25\% in some cases. We release our contrast sets as new evaluation benchmarks and encourage future dataset construction efforts to follow similar annotation processes.

研究动机与目标

• 识别NLP测试数据中的系统性缺口，使得未经针对性训练的模型能够获得较高的准确性。
• 提出一种标注范式，在测试枢轴周围创建对照集。
• 评估模型的局部决策边界在多样任务中的与真实语言现象的对齐程度。

提出的方法

• 使用输入空间中的距离度量在枢轴x周围定义局部决策边界。
• 通过专家扰动构建对照集C(x)，这些扰动通常会改变正确标签。
• 通过对照一致性评估模型：判断在C(x)中的所有(x', y')，预测是否与标签y'一致。
• 从独立同分布的测试数据中抽取枢轴，并在训练时避免独立同分布的对照集，以防止人为边界。
• 将该过程应用于涵盖阅读理解、解析和情感分析等任务的10个NLP数据集，并使用特定数据集的扰动。
• 将生成的对照集发布为未来数据集构建与评估的基准。

实验结果

研究问题

• RQ1 模型在测试样本周围进行小规模、语言学上有意义的扰动时，预测如何变化？
• RQ2 对照集是否揭示了在标准i.i.d.测试准确性中看不到的局部决策边界不对齐？
• RQ3 是否存在在跨数据集中系统性降低模型表现的任务特定扰动？

主要发现

• 对照集相对于原始测试集在全部10个数据集上降低了性能，某些情况下下降幅度高达25%。
• 对照集的一致性通常要求模型正确处理与目标数据集现象一致的局部变异。
• 不同任务和模型显示出不同的脆弱度，表明数据集设计与真实语言能力之间存在普遍差距。
• 作者提供了一种统一而又针对数据集量身定制的对照集构建方法，展示了在NLP任务中的普遍适用性。