[论文解读] DQI: A Guide to Benchmark Evaluation

Swaroop Mishra, Anjana Arunkumar+3 more|arXiv (Cornell University)|Aug 10, 2020

Health Policy Implementation Science参考文献 23被引用 4

一句话总结

本文提出了数据质量指数（DQI），这是一种新颖的多组件度量指标，通过衡量偏差和泛化能力，对自然语言处理（NLP）基准的质量进行定量评估。DQI在7个粒度级别（例如，词、句子、三元组）上识别并惩罚虚假相关性，优于二元分类和黑箱方法。DQI值越高，表示偏差越低，模型在自然语言推理（NLI）、问答（QA）和阅读理解（RC）数据集（包括SQuAD 2.0和Story Cloze）上的鲁棒性越强。

ABSTRACT

A `state of the art' model A surpasses humans in a benchmark B, but fails on similar benchmarks C, D, and E. What does B have that the other benchmarks do not? Recent research provides the answer: spurious bias. However, developing A to solve benchmarks B through E does not guarantee that it will solve future benchmarks. To progress towards a model that `truly learns' an underlying task, we need to quantify the differences between successive benchmarks, as opposed to existing binary and black-box approaches. We propose a novel approach to solve this underexplored task of quantifying benchmark quality by debuting a data quality metric: DQI.

研究动机与目标

• 解决二元分类和黑箱基准评估方法无法量化偏差和泛化能力的局限性。
• 开发一种通用的、与模型无关的度量指标，用于识别并惩罚训练数据中的虚假相关性。
• 为数据集创建者提供反馈机制，使其能够从偏差错误中学习并避免重复犯错。
• 通过早期检测低质量数据，减少因创建有偏差数据集而造成的资源浪费。
• 通过衡量超越准确率的基准质量，支持开发真正学习到任务本质的模型。

提出的方法

• DQI是一个复合度量指标，包含七个分量，用于在多个粒度级别（句子、词、动词、形容词、副词、名词、二元组、三元组）上衡量偏差和泛化能力。
• 每个分量使用数据属性的数学变换（如句子相似度（Sim_lm）、词相似度（WSim_uv）和前提-假设相似度（ISIM）），并通过超参数定义阈值。
• 该度量基于样本间相互作用计算各项指标（T1–T5），包括词重叠、最大词相似度和句长差异。
• DQI按数据集划分（如“好”样本与“坏”样本）进行计算，数值越高表示偏差越低、泛化能力越强。
• 该方法基于对NLP文献中偏差类型调查的实证公式（Mishra et al., 2020b），实现广泛的偏差覆盖，且不依赖特定模型。
• DQI在NLI、QA和RC数据集（包括SQuAD 2.0和Story Cloze）上进行了验证，使用基于模型性能标记为“好”或“坏”的划分。

实验结果

研究问题

• RQ1 我们如何超越二元评估，定量衡量NLP基准的质量？
• RQ2 哪些数据属性最可能导致NLP数据集中出现虚假偏差？
• RQ3 像DQI这样的通用、与模型无关的度量指标，是否能比现有二元或黑箱方法更有效地检测偏差？
• RQ4 DQI在不同NLP任务中与模型泛化能力和鲁棒性的相关性如何？
• RQ5 DQI在多大程度上能指导数据集创建者识别并剔除有偏差的样本？

主要发现

• 在SQuAD 2.0中，'好'样本的DQI_c6值为75,918.28，'坏'样本为105,949.34，表明后者偏差更高。
• 在Story Cloze中，'好'和'坏'划分的DQI_c6均达到1.01×10^17，表明在某些条件下指标存在高偏差或饱和现象。
• 在MNLI中，'好'和'坏'划分的DQI_c7值均较低（0.0004–0.0011），表明高质量与低质量样本之间区分度差。
• 在SNLI中，'好'样本的DQI_c7值为0.0004–0.0005，'坏'样本为0.0009–0.0011，显示出样本质量之间存在可测量的差异。
• DQI各分量显示，词重叠和句子相似度是偏差的主要贡献因素，'坏'样本表现出更高的相似度和更低的多样性。
• 该度量表明，更高的DQI值与更低的模型过拟合及更好的泛化能力相关，尤其在NLI和QA基准中表现显著。