[论文解读] I Am Going MAD: Maximum Discrepancy Competition for Comparing Classifiers Adaptively

Haotao Wang, Tianlong Chen+2 more|arXiv (Cornell University)|Feb 25, 2020

Cell Image Analysis Techniques参考文献 33被引用 9

一句话总结

本文提出 MAximum Discrepancy（MAD）竞赛，这是一种新颖的框架，通过选择一组最小的自然图像来自适应地比较图像分类器，从而最大程度暴露模型之间的性能差异。该方法利用 WordNet 层次结构上的语义距离，并通过迭代采样以最大化分歧，识别出模型特有的反例，揭示了在标准固定测试集上无法察觉的缺陷和泛化差距。在 11 个 ImageNet 分类器上的实验表明，k=30 时排名稳定。

ABSTRACT

The learning of hierarchical representations for image classification has experienced an impressive series of successes due in part to the availability of large-scale labeled data for training. On the other hand, the trained classifiers have traditionally been evaluated on small and fixed sets of test images, which are deemed to be extremely sparsely distributed in the space of all natural images. It is thus questionable whether recent performance improvements on the excessively re-used test sets generalize to real-world natural images with much richer content variations. Inspired by efficient stimulus selection for testing perceptual models in psychophysical and physiological studies, we present an alternative framework for comparing image classifiers, which we name the MAximum Discrepancy (MAD) competition. Rather than comparing image classifiers using fixed test images, we adaptively sample a small test set from an arbitrarily large corpus of unlabeled images so as to maximize the discrepancies between the classifiers, measured by the distance over WordNet hierarchy. Human labeling on the resulting model-dependent image sets reveals the relative performance of the competing classifiers, and provides useful insights on potential ways to improve them. We report the MAD competition results of eleven ImageNet classifiers while noting that the framework is readily extensible and cost-effective to add future classifiers into the competition. Codes can be found at https://github.com/TAMU-VITA/MAD.

研究动机与目标

• 解决固定、小规模测试集在评估图像分类器在真实世界自然图像上的泛化能力方面的局限性。
• 在降低人工标注成本的同时，提升测试集的代表性与判别能力，以实现更优的模型比较。
• 开发一种可扩展、成本效益高的框架，通过基于性能差异的自适应选择图像来验证分类器。
• 通过识别分类器在图像级别上产生分歧的反例，为模型偏差和失效模式提供可解释的洞察。
• 在标准验证集准确率之外，实现更公平、更稳健的深度学习模型比较。

提出的方法

• MAD 竞赛从大规模、网络规模的未标注自然图像集合作为初始图像池开始。
• 对每张图像，该方法使用加权 WordNet 层次结构距离计算两个分类器之间的语义差异得分，量化它们在语义空间中对图像分类的差异程度。
• 基于预测分歧程度迭代选择图像，优先选择能最大化竞争分类器之间差异的图像。
• 选择过程采用基于置信度的采样策略，聚焦于分类器分歧最强烈的图像，以确保高判别价值。
• 随后对前 k 个最具差异性的图像进行精选，供人工标注以验证模型性能差异。
• 最终的分类器排名基于在选定的高差异性图像上的人工验证标签得出，从而实现相对性能评估。

实验结果

研究问题

• RQ1 是否可以自适应地构建测试集，以最大化检测图像分类器之间的性能差异，而非依赖于固定的、预先选定的基准？
• RQ2 如何利用 WordNet 层次结构来量化并最大化模型分歧，使其反映人类的感知差异？
• RQ3 MAD 竞赛在多大程度上能揭示 SOTA ImageNet 分类器中未在标准准确率指标中显现的泛化缺陷？
• RQ4 当不同分类器对标准数据集的准确率几乎相同时，MAD 框架在模型比较中是否仍具有稳定性和可靠性？
• RQ5 MAD 框架能否扩展到其他需要昂贵真实标签的领域，如医学影像或自动驾驶系统？

主要发现

• MAD 竞赛成功区分了在标准 ImageNet 验证集上准确率几乎相同的 ImageNet 分类器，揭示了此前隐藏的性能差异。
• 基于 MAD 结果的分类器排名在 k>15 时表现出高度稳定性（Spearman 等级相关系数 >0.90），支持将 k=30 作为稳定全局排名阈值。
• 在前 30 张最具差异性的图像上的人工标注标签显示，分类器常在语义细微或罕见图像类别上失败，而这些类别在标准基准中代表性不足。
• 该框架识别出特定反例，其中某一分类器失败而其他分类器成功，为模型改进和集成设计提供了可操作的洞察。
• MAD 选择的图像作为自然对抗样本，暴露了模型在处理语义变化和罕见图像概念方面的特定弱点。
• 该方法展示了实际可扩展性和成本效益，使在无需对大规模图像集合进行全面人工标注的情况下实现有意义的模型比较成为可能。