[论文解读] Beyond Leaderboards: A survey of methods for revealing weaknesses in Natural Language Inference data and models

Viktor Schlegel, Goran Nenadić+1 more|arXiv (Cornell University)|May 29, 2020

Topic Modeling参考文献 107被引用 16

一句话总结

本综述系统性地对英语自然语言蕴涵（NLI）数据集和模型中检测与分析表面线索及模型弱点的方法进行了分类。综述回顾了启发式分析、对抗性测试和基线评估技术，发现许多高性能模型依赖于虚假相关性而非真正的推理，当此类线索被移除时性能显著下降——凸显了超越排行榜分数进行稳健评估的必要性。

ABSTRACT

Recent years have seen a growing number of publications that analyse Natural Language Inference (NLI) datasets for superficial cues, whether they undermine the complexity of the tasks underlying those datasets and how they impact those models that are optimised and evaluated on this data. This structured survey provides an overview of the evolving research area by categorising reported weaknesses in models and datasets and the methods proposed to reveal and alleviate those weaknesses for the English language. We summarise and discuss the findings and conclude with a set of recommendations for possible future research directions. We hope it will be a useful resource for researchers who propose new datasets, to have a set of tools to assess the suitability and quality of their data to evaluate various phenomena of interest, as well as those who develop novel architectures, to further understand the implications of their improvements with respect to their model's acquired capabilities.

研究动机与目标

• 识别并分类暴露英语NLI数据集和模型中表面线索与模型弱点的方法。
• 分析虚假相关性（如词汇重叠、句法模式或特定关键词）如何破坏模型泛化能力与任务复杂性。
• 评估移除这些线索对模型性能的影响，证明模型对数据集人工制品的过拟合而非真正推理。
• 为研究人员提供工具和建议，以设计更优的数据集并超越准确率分数评估模型能力。
• 通过识别在构建稳健、可泛化NLI系统方面存在的开放挑战，为未来研究提供指导。

提出的方法

• 通过关键词搜索Google Scholar，对36个NLI数据集进行系统性综述，以识别相关出版物。
• 将检测方法分类为启发式分析、对抗性评估、部分基线、压力测试以及架构/训练改进。
• 通过词汇重叠、子序列模式和成分匹配等方法，分析MNLI、SNLI和SQuAD等数据集中的虚假相关性。
• 通过插入干扰句子（如对抗性样本）来评估模型鲁棒性，这些句子保持上下文一致但改变预测结果。
• 使用部分基线和压力测试来衡量模型对表面线索的依赖程度，而非推理能力。
• 通过对比线索移除前后模型性能，量化过拟合与泛化失败的程度。

实验结果

研究问题

• RQ1 最先进NLI模型在多大程度上依赖于表面线索（如词汇重叠或特定关键词）而非语义推理？
• RQ2 当系统性地从测试集中移除虚假线索时，性能指标如何变化？
• RQ3 哪些检测方法（如对抗性样本或启发式分析）最有效地揭示模型弱点？
• RQ4 NLI系统中数据集级偏差与模型级偏差的关键差异是什么？
• RQ5 未来如何设计数据集和评估协议，以减少对表面线索的依赖并提升泛化能力？

主要发现

• 在移除表面线索的版本上测试时，MNLI和SNLI等NLI数据集上训练的模型性能显著下降——有时从90%以上降至60%以下，表明其对人工制品的过拟合。
• 前提与假设之间的词汇重叠是主要的虚假线索，一个RTE数据集中有2,158对蕴涵样本依赖于此类重叠，导致模型预测偏差。
• 插入无关但合理的句子（如“四分卫杰夫·戴恩的球衣号码是37号”）的对抗性样本会导致模型错误预测答案，揭示其对常见词汇的过度稳定。
• 基于启发式的检测方法（如子序列匹配和成分匹配）表明，大量NLI样本（例如1,274/1,326对）是基于浅层模式而非语义进行分类的。
• 2019年以前引入的数据集（如DailyMail和NewsQA）通常通过人工检查或部分基线分析，揭示出标准评估未检测到的持续性偏差。
• 架构和训练改进（如BiDAF和GRU-based模型）仍无法消除对表面线索的依赖，表明仅靠模型设计不足以克服数据人工制品的影响。