[论文解读] Class-Distribution-Aware Calibration for Long-Tailed Visual Recognition

Mobarakol Islam, Lalithkumar Seenivasan+2 more|arXiv (Cornell University)|Sep 11, 2021

Advanced Neural Network Applications参考文献 30被引用 9

一句话总结

本文提出类别分布感知温度缩放（CDA-TS）和类别分布感知标签平滑（CDA-LS），以提升长尾视觉识别中的模型校准性能。通过根据类别频率调整校准参数，CDA-TS 和 CDA-LS 降低了高频类别中的过度自信，相较于标准的 TS 和 LS，在 CIFAR-100-LT、Places-LT 和 ImageNet-LT 数据集上实现了更低的校准误差和更高的准确率。

ABSTRACT

Despite impressive accuracy, deep neural networks are often miscalibrated and tend to overly confident predictions. Recent techniques like temperature scaling (TS) and label smoothing (LS) show effectiveness in obtaining a well-calibrated model by smoothing logits and hard labels with scalar factors, respectively. However, the use of uniform TS or LS factor may not be optimal for calibrating models trained on a long-tailed dataset where the model produces overly confident probabilities for high-frequency classes. In this study, we propose class-distribution-aware TS (CDA-TS) and LS (CDA-LS) by incorporating class frequency information in model calibration in the context of long-tailed distribution. In CDA-TS, the scalar temperature value is replaced with the CDA temperature vector encoded with class frequency to compensate for the over-confidence. Similarly, CDA-LS uses a vector smoothing factor and flattens the hard labels according to their corresponding class distribution. We also integrate CDA optimal temperature vector with distillation loss, which reduces miscalibration in self-distillation (SD). We empirically show that class-distribution-aware TS and LS can accommodate the imbalanced data distribution yielding superior performance in both calibration error and predictive accuracy. We also observe that SD with an extremely imbalanced dataset is less effective in terms of calibration performance. Code is available in https://github.com/mobarakol/Class-Distribution-Aware-TS-LS.

研究动机与目标

• 解决在长尾数据集中模型对高频类别过度自信导致的校准偏差问题。
• 克服在数据不平衡设置下统一温度缩放（TS）和标签平滑（LS）的局限性。
• 开发基于类别分布的校准技术，将类别频率整合到校准参数中。
• 将 CDA-TS 集成到知识蒸馏中，以在自蒸馏过程中提升校准性能与准确率。
• 在多个长尾基准上使用最先进校准指标验证所提方法。

提出的方法

• CDA-TS 用基于类别频率推导出的类别专属温度向量替代标量温度，以降低高频类别中的过度自信。
• CDA-LS 使用类别专属的平滑因子向量，而非标量，根据类别分布对硬标签进行平滑处理。
• 通过在验证集上进行线性搜索优化 CDA-TS 向量，以最小化校准误差。
• 将 CDA-TS 集成到知识蒸馏损失中，以在自蒸馏过程中提升校准性能与准确率。
• 训练过程中使用标准交叉熵损失，但对 logits（CDA-TS）或软标签（CDA-LS）进行修改。
• 使用可靠性图和校准误差指标（ECE、SCE、TACE、UCE、BS）评估性能。

实验结果

研究问题

• RQ1 类别分布感知温度缩放（CDA-TS）是否能降低在长尾数据集上训练的模型的校准偏差？
• RQ2 与标准标签平滑相比，类别分布感知标签平滑（CDA-LS）是否能提升校准性能与准确率？
• RQ3 在高度不平衡数据上应用 CDA-TS 时，其在自蒸馏中的表现如何？
• RQ4 CDA-TS 和 CDA-LS 是否能协同提升长尾识别中的预测准确率与校准误差？
• RQ5 在校准参数中引入类别频率是否能带来更优的可靠性图与更低的不确定性校准误差？

主要发现

• 在不平衡比为 100 的 CIFAR-100-LT 上，CDA-TS 将期望校准误差（ECE）降低了 57%，相较于基线模型。
• 在 CIFAR-100-LT（不平衡比 10）上，CDA-TS 达到 58.67% 的准确率和 0.1694 的 ECE，优于基线模型（57.60% 准确率，0.1801 ECE）。
• 在不平衡比为 100 的 CIFAR-100-LT 上，CDA-LS 将 ECE 从基线的 0.328 降低至 0.038，表现显著提升。
• 使用 CDA-TS 的自蒸馏达到 58.67% 准确率和 0.1694 ECE，优于使用固定 T 的标准蒸馏（57.64% 准确率，0.1974 ECE）。
• CDA-TS 在三个数据集（CIFAR-100-LT、Places-LT 和 ImageNet-LT）上均保持或提升了校准性能。
• CDA-TS 展现出更低的不确定性校准误差（UCE），并生成更优的可靠性图，其置信度曲线更接近恒等线。