[论文解读] Improving Calibration for Long-Tailed Recognition

Zhisheng Zhong, Jiequan Cui+2 more|arXiv (Cornell University)|Apr 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 39被引用 9

一句话总结

本文提出 MiSLAS，一种通过引入标签感知平滑以缓解类别特定过自信问题，并通过偏移批量归一化解决两阶段解耦框架中的数据集偏差问题，从而提升长尾识别任务中的校准性能与模型表现。该方法在多个基准测试中实现了最先进的准确率与显著降低的期望校准误差（ECE）。

ABSTRACT

Deep neural networks may perform poorly when training datasets are heavily class-imbalanced. Recently, two-stage methods decouple representation learning and classifier learning to improve performance. But there is still the vital issue of miscalibration. To address it, we design two methods to improve calibration and performance in such scenarios. Motivated by the fact that predicted probability distributions of classes are highly related to the numbers of class instances, we propose label-aware smoothing to deal with different degrees of over-confidence for classes and improve classifier learning. For dataset bias between these two stages due to different samplers, we further propose shifted batch normalization in the decoupling framework. Our proposed methods set new records on multiple popular long-tailed recognition benchmark datasets, including CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, Places-LT, and iNaturalist 2018. Code will be available at https://github.com/Jia-Research-Lab/MiSLAS.

研究动机与目标

• 解决在长尾数据集上训练的深度神经网络所面临的模型校准不足与过自信问题。
• 解决两阶段解耦框架中因不同采样策略引入的数据集偏差（领域偏移）问题。
• 通过考虑类别不平衡导致的类别特定置信度水平，改进分类器学习与校准。
• 在标准长尾基准测试中，实现准确率与校准性能的最先进水平。

提出的方法

• 提出标签感知平滑，根据类别频率动态调整标签平滑程度，降低尾部类别中的过自信现象。
• 引入偏移批量归一化（偏移学习），以缓解第一阶段（实例均衡）与第二阶段（类别均衡）训练数据之间的分布偏移。
• 在第一阶段应用 mixup 增强技术，以提升表示学习效果，同时避免对分类器学习产生负面影响。
• 将 mixup、标签感知平滑与偏移学习整合进统一的两阶段解耦框架（MiSLAS）中，实现端到端优化。
• 采用期望校准误差（ECE）作为主要评估指标，用于在所有阶段评估并优化模型校准性能。
• 采用解耦训练流程：在第二阶段冻结主干网络，仅对分类器进行类别均衡采样下的微调。

实验结果

研究问题

• RQ1 长尾数据集中类别不平衡如何影响模型校准与置信度校准，特别是在两阶段解耦框架中？
• RQ2 标签感知平滑是否能通过根据类别频率自适应调整平滑程度，有效降低尾部类别的过自信？
• RQ3 第一阶段与第二阶段训练数据之间的数据集偏差在多大程度上会损害两阶段长尾识别中的模型性能？
• RQ4 在批量归一化层上应用偏移学习是否能有效缓解领域偏移并提升解耦训练中的泛化能力？
• RQ5 将 mixup、标签感知平滑与偏移学习相结合，是否能在多种长尾基准上持续提升准确率与校准性能？

主要发现

• 在长尾数据集上训练的模型相比在平衡数据上训练的模型，表现出显著更高的期望校准误差（ECE）与过自信现象。
• 所提出的 MiSLAS 方法在 CIFAR-100-LT（IF=100）上实现了 52.7% 的 top-1 准确率与 1.83% 的 ECE，优于以往 SOTA 方法。
• 在 ImageNet-LT 上，MiSLAS 实现了 71.6% 的 top-1 准确率与 7.67% 的 ECE，创下新 SOTA 记录，优于 cRT+mixup（70.2%/1.79%）与 LWS+mixup（70.9%/9.41%）的性能表现。
• 在 iNaturalist 2018 上，MiSLAS 实现了 40.4% 的 top-1 准确率与 3.59% 的 ECE，超越了此前最佳方法（LWS+mixup：39.7%/11.7%）。
• 在 Places-LT 上，MiSLAS 实现了 63.2% 的 top-1 准确率与 1.73% 的 ECE，展现出在多样化数据集上的稳定性能提升。
• 消融实验表明，标签感知平滑、偏移学习与 mixup 每一模块均在所有评估的不平衡因子（IF=10, 50, 100）下，对准确率提升与 ECE 降低有显著贡献。