[论文解读] Estimating Example Difficulty Using Variance of Gradients

Chirag Agarwal, Daniel D’souza+1 more|arXiv (Cornell University)|Aug 26, 2020

Machine Learning and Data Classification被引用 7

一句话总结

本文提出梯度方差（VoG），一种计算高效、与模型无关的方法，通过训练过程中梯度方差对数据样本按难度进行排序。VoG 能够识别出困难样本——如具有杂乱背景、非典型视角或记忆化特征的样本——在过滤低 VoG 测试样本时可提升模型泛化能力，同时在无监督的分布外（OoD）检测中优于 9 种现有方法，精度提升达 9.26%。

ABSTRACT

In machine learning, a question of great interest is understanding what examples are challenging for a model to classify. Identifying atypical examples ensures the safe deployment of models, isolates samples that require further human inspection and provides interpretability into model behavior. In this work, we propose Variance of Gradients (VoG) as a valuable and efficient metric to rank data by difficulty and to surface a tractable subset of the most challenging examples for human-in-the-loop auditing. We show that data points with high VoG scores are far more difficult for the model to learn and over-index on corrupted or memorized examples. Further, restricting the evaluation to the test set instances with the lowest VoG improves the model's generalization performance. Finally, we show that VoG is a valuable and efficient ranking for out-of-distribution detection.

研究动机与目标

• 开发一种高效、可扩展的方法，用于在大规模数据集中识别最困难的样本，以支持人工介入的审计流程。
• 通过揭示模型难以分类的数据点，特别是具有非典型视觉属性或受损特征的样本，实现可解释性。
• 通过在评估阶段过滤高 VoG 样本，提升模型泛化能力。
• 评估 VoG 作为一种无监督、与领域无关的分布外（OoD）检测方法，无需辅助模型或标注数据。

提出的方法

• VoG 对每个数据样本在多个训练检查点上计算梯度方差，衡量梯度更新随时间的波动程度。
• 该方法对每类进行方差归一化，以实现在不同类别间的公平比较。
• 高 VoG 分数表示样本在训练过程中持续产生不稳定的梯度信号，表明其具有困难性。
• VoG 仅使用现有模型检查点的标准反向传播梯度计算，无需额外训练或模型修改。
• 在 OoD 检测中，VoG 分数被反转并用于对分布外样本进行排序，将其视为 AUPR 和 AUROC 评估中的正类。
• 该方法在 ResNet-50 和 Wide ResNet-28-10 上应用于 CIFAR-10、CIFAR-100 和 ImageNet，同时对训练动态和数据损坏进行了消融研究。

(a) Toy dataset trained decision boundary

实验结果

研究问题

• RQ1 在训练时间上，梯度方差能否以可扩展且与模型无关的方式有效对数据样本按难度进行排序？
• RQ2 高 VoG 样本是否对应于视觉复杂、受损或记忆化的样本，且更难被模型学习？
• RQ3 通过低 VoG 过滤测试样本，能否提升模型泛化性能？
• RQ4 VoG 在分布外检测方面与现有最先进方法相比表现如何？
• RQ5 VoG 是否能在不同训练阶段揭示模型学习动态中的有意义模式？

主要发现

• VoG 分数能有效识别困难样本，高 VoG 图像在杂乱背景和非典型物体视角上显著过采样。
• 高 VoG 图像更可能受损或被记忆，这一结论在 MNIST-C 等损坏数据集上的评估中得到验证。
• 仅对最低 VoG 测试样本进行评估可提升模型泛化能力，证明 VoG 在过滤困难样本方面的实用性。
• VoG 在 MNIST-C 上优于 9 种现有 OoD 检测方法，AUROC 达 85.42 ± 10.28，AUPR（Out）达 84.96 ± 9.61，较所有基线方法精度提升 9.26%。
• 与需要复杂辅助模型训练的 AE 和 AEGAN 等方法相比，VoG 更具可扩展性，且能扩展至 ImageNet 等大规模数据集。
• VoG 揭示了早期训练中的颜色偏差，并捕捉到学习动态：低 VoG 图像在后期阶段展现出典型视图和干净背景。

(b) Distance vs. VoG score