[论文解读] Towards Improving Calibration in Object Detection Under Domain Shift

Muhammad Akhtar Munir, Muhammad Haris Khan+2 more|arXiv (Cornell University)|Sep 15, 2022

Advanced Neural Network Applications被引用 7

一句话总结

本文提出一种即插即用的训练时校准损失（TCD），用于基于深度神经网络的目标检测器，以提升在分布内和分布外检测场景下的置信度校准性能。此外，还引入了一种基于不确定性量化自训练域自适应的隐式校准技术（ICT），表明结合TCD与ICT能显著提升校准效果，且几乎不损失精度，尤其在具有挑战性的域偏移场景下表现更优。

ABSTRACT

With deep neural network based solution more readily being incorporated in real-world applications, it has been pressing requirement that predictions by such models, especially in safety-critical environments, be highly accurate and well-calibrated. Although some techniques addressing DNN calibration have been proposed, they are only limited to visual classification applications and in-domain predictions. Unfortunately, very little to no attention is paid towards addressing calibration of DNN-based visual object detectors, that occupy similar space and importance in many decision making systems as their visual classification counterparts. In this work, we study the calibration of DNN-based object detection models, particularly under domain shift. To this end, we first propose a new, plug-and-play, train-time calibration loss for object detection (coined as TCD). It can be used with various application-specific loss functions as an auxiliary loss function to improve detection calibration. Second, we devise a new implicit technique for improving calibration in self-training based domain adaptive detectors, featuring a new uncertainty quantification mechanism for object detection. We demonstrate TCD is capable of enhancing calibration with notable margins (1) across different DNN-based object detection paradigms both in in-domain and out-of-domain predictions, and (2) in different domain-adaptive detectors across challenging adaptation scenarios. Finally, we empirically show that our implicit calibration technique can be used in tandem with TCD during adaptation to further boost calibration in diverse domain shift scenarios.

研究动机与目标

• 为解决深度学习目标检测器在域偏移下缺乏校准技术的问题。
• 提升目标检测器在分布内与分布外设置下的校准性能，其中分布偏移会降低预测可靠性。
• 开发一种即插即用的训练时校准损失（TCD），在不修改主干网络架构的前提下增强置信度校准。
• 设计一种基于不确定性量化的自训练域自适应检测器的隐式校准方法（ICT）。
• 证明TCD与ICT具有互补性，并在多种域偏移场景下协同提升校准性能。

提出的方法

• 提出TCD，一种新颖的辅助损失函数，用于在训练期间同时正则化分类置信度与边界框定位。
• TCD整合了置信度校准项，以最小化所有类别中预测置信度与实际正确性之间的差异。
• 引入一种隐式校准技术（ICT），利用预测置信度、中心坐标与长宽比的不确定性估计，以在自训练中过滤低置信度伪标签。
• 在ICT中采用多组件不确定性量化策略，结合置信度、空间坐标（x,y）与长宽比预测，以提升伪标签质量。
• 将TCD应用于多种检测头（单阶段与两阶段）并集成至SSAL与UGPL等域自适应框架中。
• 在多个域偏移基准上验证方法：Sim10k→Cityscapes、Cityscapes→Cityscapes-foggy、KITTI→Cityscapes，以及Cityscapes→BDD100K。

实验结果

研究问题

• RQ1 训练时校准损失能否在分布内与分布外检测场景下均提升目标检测器的置信度校准性能？
• RQ2 所提出的TCD损失在与不同目标检测架构及损失函数结合时表现如何？
• RQ3 通过不确定性感知的伪标签化实现的隐式校准，能否提升自训练型域自适应检测器的校准性能？
• RQ4 所提出的隐式校准技术（ICT）是否与TCD损失在域偏移下具有互补性？
• RQ5 不确定性估计中的哪些组件（置信度、位置、长宽比）最有效地提升域自适应中的校准性能？

主要发现

• TCD在不同检测模型与域偏移场景下，将分布期望校准误差（D-ECE）降低最多达40%，在Sim10k→Cityscapes场景下表现最佳（D-ECE: 7.9），当与ICT结合时。
• 加入TCD后，各类偏移场景下的平均精度（mAP@0.5）提升4.7至12.8个百分点，且对精度影响极小。
• TCD中的组件d_det至关重要：若移除该组件，D-ECE最高上升4.8个百分点，表明其在稳定定位校准中的作用。
• ICT采用完整不确定性估计（置信度、x/y坐标、长宽比）时，在Sim10k→Cityscapes场景下达到最低D-ECE（12.7），优于仅使用置信度或置信度+空间坐标的方案。
• 结合TCD与ICT可实现最佳整体校准效果，在Sim10k→Cityscapes场景下D-ECE降至7.9，在Cityscapes→Cityscapes-foggy场景下为16.7，证明二者具有显著互补性。
• 消融实验表明，TCD能有效缓解各类别可靠性图中的欠校准与过校准问题，尤其在多类别域偏移设置下效果显著。