[论文解读] Margin Calibration for Long-Tailed Visual Recognition

Yidong Wang, Bowen Zhang+4 more|arXiv (Cornell University)|Dec 14, 2021

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

本文提出MAR（Margin Calibration），一种简单而有效的方法，通过校准分类边界来平衡长尾视觉识别中头部与尾部类别之间的logits。通过引入仅含2K参数的可学习、类别特定的边界校准函数，MARC在CIFAR-LT、ImageNet-LT、Places-LT和iNaturalist-LT上实现了最先进性能，计算开销极低，且仅需三行代码即可实现。

ABSTRACT

The long-tailed class distribution in visual recognition tasks poses great challenges for neural networks on how to handle the biased predictions between head and tail classes, i.e., the model tends to classify tail classes as head classes. While existing research focused on data resampling and loss function engineering, in this paper, we take a different perspective: the classification margins. We study the relationship between the margins and logits (classification scores) and empirically observe the biased margins and the biased logits are positively correlated. We propose MARC, a simple yet effective MARgin Calibration function to dynamically calibrate the biased margins for unbiased logits. We validate MARC through extensive experiments on common long-tailed benchmarks including CIFAR-LT, ImageNet-LT, Places-LT, and iNaturalist-LT. Experimental results demonstrate that our MARC achieves favorable results on these benchmarks. In addition, MARC is extremely easy to implement with just three lines of code. We hope this simple method will motivate people to rethink the biased margins and biased logits in long-tailed visual recognition.

研究动机与目标

• 解决长尾视觉识别中头部（常见）类别与尾部（稀有）类别之间模型预测不平衡的问题。
• 探究边界与logits之间未校准的关系，后者对分类性能至关重要。
• 提出一种简单而有效的方法，通过不改变模型表示或复杂重加权方案来校准边界。
• 通过边界校准平衡logits，缩小头部与尾部类别之间的性能差距。
• 促使重新思考未校准边界在长尾学习中的作用。

提出的方法

• 提出一种具有2K可学习参数的类别特定边界校准函数，在标准训练后调整初始学习到的边界。
• 通过为每个类别学习一个缩放因子来校准边界，以平衡logits，使用依赖于类别基数的可学习函数。
• 在推理阶段应用校准函数，确保尾部类别相对于头部类别的置信度得分更高。
• 采用简单的两阶段训练优化方案：先进行标准训练，再通过极少超参数调优进行边界校准。
• 使用类似温度的缩放参数γ，经实验确定在1.2时在各数据集上表现最优。
• 该方法即插即用，仅需三行代码即可实现，且与任何主干网络和损失函数兼容。

实验结果

研究问题

• RQ1 在长尾数据集中，未校准的边界与logits如何与类别频率相关联？
• RQ2 仅通过边界校准是否能在不修改模型表示的情况下提升长尾视觉识别基准的性能？
• RQ3 一个简单且可学习的边界校准函数是否优于依赖数据重采样或损失重加权的现有方法？
• RQ4 MARC如何影响头部与尾部类别之间logits与边界之间的平衡？
• RQ5 边界校准是否能减少将尾部类别误分类为头部类别的现象？

主要发现

• 在CIFAR-LT、ImageNet-LT、Places-LT和iNaturalist-LT上，MARC显著提升了尾部类别的类别准确率，同时保持了头部类别上的强性能。
• 校准后，各类别之间的logits与边界更加均衡，减少了对头部类别的偏差。
• 在CIFAR-100-LT(200)上，即使γ = 0，MARC仍实现了45.2%的top-1准确率，证明其在无需损失重加权的情况下依然有效。
• 最优γ值为1.2，因为更高值会导致头部类别权重被过度抑制，从而降低性能。
• MARC在边界与梯度稳定性方面优于DisAlign，表现出更一致的校准效果。
• 可视化结果证实，MARC减少了混淆矩阵对角线元素的差异，表明尾部类别的误分类显著减少。