[论文解读] Information-Theoretic Measures of Dataset Difficulty.

Kawin Ethayarajh, Yejin Choi+1 more|arXiv (Cornell University)|Oct 16, 2021

Machine Learning and Data Classification参考文献 48被引用 6

一句话总结

本文提出了一种基于信息论的框架，通过量化可用信息来衡量数据集的难度，引入了逐点 V-信息（PVI）以评估给定模型在实例级别的难度。该方法可实现跨数据集和跨模型的比较，并通过分析输入扰动揭示基准中的标注伪影。

ABSTRACT

Estimating the difficulty of a dataset typically involves comparing state-of-the-art models to humans; the bigger the performance gap, the harder the dataset is said to be. Not only is this framework informal, but it also provides little understanding of how difficult each instance is, or what attributes make it difficult for a given model. To address these problems, we propose an information-theoretic perspective, framing dataset difficulty as the absence of $ extit{usable information}$. Measuring usable information is as easy as measuring performance, but has certain theoretical advantages. While the latter only allows us to compare different models w.r.t the same dataset, the former also allows us to compare different datasets w.r.t the same model. We then introduce $ extit{pointwise}$ $\mathcal{V}-$$ extit{information}$ (PVI) for measuring the difficulty of individual instances, where instances with higher PVI are easier for model $\mathcal{V}$. By manipulating the input before measuring usable information, we can understand $ extit{why}$ a dataset is easy or difficult for a given model, which we use to discover annotation artefacts in widely-used benchmarks.

研究动机与目标

• 将数据集难度的形式化定义超越模型与人类之间的性能差距，因为后者缺乏可解释性和粒度。
• 使用信息论原则量化单个数据实例的难度，而非仅依赖模型性能。
• 通过测量可用信息，实现对不同模型和数据集之间难度的跨数据集和跨模型比较。
• 通过分析输入扰动如何影响可用信息，揭示为何某些数据集对特定模型具有挑战性。
• 通过系统分析信息流，检测广泛使用基准中的标注伪影。

提出的方法

• 提出逐点 V-信息（PVI）作为可用信息的度量，其中较高的 PVI 值表示对模型 V 来说更简单的实例。
• 将可用信息定义为在给定输入特征条件下，模型预测与真实标签之间的互信息。
• 使用 PVI 按难度对单个数据实例进行排序，PVI 值越高表示可预测性越强，因此难度越低。
• 应用输入扰动（如掩码、打乱）以评估信息损失与难度增加的相关性。
• 采用相同的 PVI 框架在不同模型之间比较数据集，实现对数据集难度的跨模型评估。
• 将该框架应用于真实世界基准，以发现隐藏的标注伪影，这些伪影会降低模型性能。

实验结果

研究问题

• RQ1 如何使用信息论原则在实例级别正式度量数据集难度？
• RQ2 数据实例的哪些特征使其对给定模型具有挑战性，这些特征如何被量化？
• RQ3 是否可以以一种允许跨不同模型和数据集比较的方式度量可用信息？
• RQ4 输入扰动如何影响可用信息，从而影响感知到的数据集难度？
• RQ5 使用这种信息论视角，可以在现有基准中检测到哪些标注伪影？

主要发现

• PVI 成功识别出对模型而言更简单或更困难的单个数据实例，较高的 PVI 值对应于更具可预测性的实例。
• 该框架实现了在不同模型之间对数据集难度的有意义比较，揭示了某些数据集本质上更具挑战性，无论模型架构如何。
• 如标记掩码或打乱等输入扰动显著降低了可用信息，尤其在 PVI 值较高的实例中表现明显，表明对输入结构具有敏感性。
• 该方法通过揭示模型因某些实例中可用信息较低而利用虚假相关性，检测出流行基准中的标注伪影（如捷径学习模式）。
• 在模型与人类之间性能差距较大的数据集中，通常表现出可用信息较低，证实了信息稀缺与难度之间的关联。
• 该框架揭示出，某些实例的困难并非源于复杂性，而是由于标注质量差或冗余特征，这些因素降低了可用信息。