[论文解读] Adaptive Label Smoothing

Ujwal Krothapalli, A. Lynn Abbott|arXiv (Cornell University)|Sep 14, 2020

Video Analysis and Summarization参考文献 48被引用 7

一句话总结

本文提出自适应标签平滑方法，该方法在CNN训练过程中，基于边界框的置信度分数，根据目标大小动态调整标签平滑。通过将置信度预测建立在目标占比而非上下文的基础上，该方法在仅含上下文的图像上将过自信程度降低一个数量级，并在MS COCO上提升了校准性能与迁移学习表现，优于硬标签和标准标签平滑方法。

ABSTRACT

This paper concerns the use of objectness measures to improve the calibration performance of Convolutional Neural Networks (CNNs). CNNs have proven to be very good classifiers and generally localize objects well; however, the loss functions typically used to train classification CNNs do not penalize inability to localize an object, nor do they take into account an object's relative size in the given image. During training on ImageNet-1K almost all approaches use random crops on the images and this transformation sometimes provides the CNN with background only samples. This causes the classifiers to depend on context. Context dependence is harmful for safety-critical applications. We present a novel approach to classification that combines the ideas of objectness and label smoothing during training. Unlike previous methods, we compute a smoothing factor that is \emph{adaptive} based on relative object size within an image. This causes our approach to produce confidences that are grounded in the size of the object being classified instead of relying on context to make the correct predictions. We present extensive results using ImageNet to demonstrate that CNNs trained using adaptive label smoothing are much less likely to be overconfident in their predictions. We show qualitative results using class activation maps and quantitative results using classification and transfer learning tasks. Our approach is able to produce an order of magnitude reduction in confidence when predicting on context only images when compared to baselines. Using transfer learning, we gain 2.1mAP on MS COCO compared to the hard label approach.

研究动机与目标

• 解决在安全关键应用中使用的深度CNN模型存在的过自信与上下文偏差问题。
• 通过在训练过程中引入目标大小信息，改善模型校准性能。
• 通过将预测建立在目标存在性与尺度基础上，减少对上下文或纹理线索的依赖。
• 通过ImageNet预训练提升目标检测任务中的迁移学习性能。
• 通过基于置信度分数自适应调整标签平滑，提供更可靠的不确定性估计。

提出的方法

• 该方法利用边界框标注中提取的置信度分数计算自适应平滑因子。
• 置信度分数衡量裁剪图像窗口中包含ImageNet 1000类中任意目标的可能性。
• 平滑因子应用于硬标签，将其转换为反映目标相对于图像面积大小的软标签。
• 训练过程中，对这些自适应软标签应用交叉熵损失，降低对小目标或无目标情况下的置信度。
• 该方法使用超参数β控制平滑程度，便于评估其影响的消融研究。
• 该方法在ImageNet-1K上使用ResNet-50和ResNet-101进行评估，并在MS COCO上进行微调以用于目标检测。

实验结果

研究问题

• RQ1 目标大小信息能否改善深度CNN在分类训练过程中的校准性能？
• RQ2 自适应标签平滑是否能降低在仅含上下文图像上的预测过自信程度？
• RQ3 在目标检测的迁移学习中，自适应标签平滑与硬标签和固定标签平滑相比表现如何？
• RQ4 平滑超参数β对模型校准与定位性能有何影响？
• RQ5 自适应标签平滑能否在安全关键应用中实现更好的泛化性与可靠性？

主要发现

• 与硬标签和标准标签平滑相比，自适应标签平滑在仅含上下文的图像上将平均置信度降低了整整一个数量级。
• 在MS COCO目标检测任务上，该方法相比硬标签基线实现了2.1 mAP的提升。
• 在平均精度方面，该方法与当前最先进数据增强方法CutMix的性能相差不足0.001 mAP。
• 增大β超参数可降低模型的过自信程度，使预测分布更平滑（更校准）。
• β值过低会降低目标定位性能，表明校准与定位精度之间存在权衡。
• 类激活图显示，使用自适应标签平滑时，模型对相关目标区域的空间注意力得到改善。