[论文解读] Cal-DETR: Calibrated Detection Transformer

Muhammad Akhtar Munir, Salman Khan+3 more|arXiv (Cornell University)|Nov 6, 2023

Advanced Neural Network Applications被引用 4

一句话总结

Cal-DETR 提出了一种针对基于视觉 Transformer 的目标检测器（Deformable-DETR、UP-DETR、DINO）的训练时校准方法，通过不确定性引导的 logits 调制和 logits 混合作为正则化项。该方法在保持或提升检测精度的同时，显著改善了域内和域外的校准性能，在 MS-COCO 和 Cityscapes 基准上优于现有校准方法。

ABSTRACT

Albeit revealing impressive predictive performance for several computer vision tasks, deep neural networks (DNNs) are prone to making overconfident predictions. This limits the adoption and wider utilization of DNNs in many safety-critical applications. There have been recent efforts toward calibrating DNNs, however, almost all of them focus on the classification task. Surprisingly, very little attention has been devoted to calibrating modern DNN-based object detectors, especially detection transformers, which have recently demonstrated promising detection performance and are influential in many decision-making systems. In this work, we address the problem by proposing a mechanism for calibrated detection transformers (Cal-DETR), particularly for Deformable-DETR, UP-DETR and DINO. We pursue the train-time calibration route and make the following contributions. First, we propose a simple yet effective approach for quantifying uncertainty in transformer-based object detectors. Second, we develop an uncertainty-guided logit modulation mechanism that leverages the uncertainty to modulate the class logits. Third, we develop a logit mixing approach that acts as a regularizer with detection-specific losses and is also complementary to the uncertainty-guided logit modulation technique to further improve the calibration performance. Lastly, we conduct extensive experiments across three in-domain and four out-domain scenarios. Results corroborate the effectiveness of Cal-DETR against the competing train-time methods in calibrating both in-domain and out-domain detections while maintaining or even improving the detection performance. Our codebase and pre-trained models can be accessed at \url{https://github.com/akhtarvision/cal-detr}.

研究动机与目标

• 为解决现代基于 Transformer 的目标检测器缺乏校准方法的问题，尤其是在安全关键应用中。
• 改善模型在域内和域外检测场景下的校准性能，这些场景中分布偏移十分常见。
• 开发一种无需架构修改且计算开销极小的训练时校准方法。
• 通过在 logits 空间引入互补正则化技术，在提升校准性能的同时增强检测性能。
• 为最先进的检测 Transformer 模型提供即插即用的置信度校准解决方案。

提出的方法

• 提出一种基于查询级注意力图的新型不确定性量化方法，应用于基于 Transformer 的检测器，无需架构修改。
• 引入不确定性引导的 logits 调制，根据预测的不确定性分数动态调整类别 logits。
• 设计一种 logits 混合策略，通过可学习的混合系数 α 将正样本查询的预测结果进行组合，作为具有检测特定损失的正则化项。
• 采用混合训练目标，结合标准检测损失（如边界框和分类损失）与校准正则化损失，由 λ 加权。
• 使用单个超参数 α₁ ∈ [0.6, 0.9] 进行 logits 混合，验证集上发现 α₁ = 0.9 为最优值。
• 采用 β = 0.3 的 Beta 分布采样方法进行 logits 混合，以提升泛化能力和校准性能。

Figure 1 : Main architecture: An image is passed through a feature extractor CNN and unmodified transformer’s encoder structure, whereas the decoder is modified to get the model well calibrated. Logits are modulated based on uncertainty quantification that exploits the inbuilt design of the decoder

实验结果

研究问题

• RQ1 能否在不修改架构的前提下，有效将不确定性估计集成到基于 Transformer 的目标检测器中？
• RQ2 不确定性引导的 logits 调制是否能提升目标检测模型的置信度校准性能？
• RQ3 logits 混合能否作为互补正则化项，同时提升校准性能和检测性能？
• RQ4 与现有校准方法相比，Cal-DETR 在分布偏移（域外）情况下的表现如何？
• RQ5 哪些超参数设置（α, λ, β）能在校准与检测精度之间实现最佳权衡？

主要发现

• 在 Cityscapes（域内）上，Cal-DETR 将 D-ECE 从基线 D-DETR 的 13.8 降低至 8.4，显著提升了校准性能。
• 在域外 Foggy Cityscapes 基准上，Cal-DETR 将 D-ECE 从 19.5 降低至 11.9，表现出对分布偏移的强鲁棒性。
• 在 Cityscapes 上，Cal-DETR 维持或提升了 AP（28.4 vs. 26.8）和 AP₀.₅（51.4 vs. 49.5），表明在获得校准收益的同时未造成性能下降。
• 消融实验证实，不确定性引导的 logits 调制与 logits 混合在提升校准性能方面均具有独立且协同的作用。
• 最优的 logits 混合权重 α₁ = 0.9 在检测精度与校准之间实现了最佳平衡，且优于其他 α₁ 取值。
• 采用单一 α 的方法（Cal-DETR）优于基于采样的变体（Cal-DETR S），表明在 logits 空间中混合更加稳定且高效。

Figure 2 : D-DETR Calibration: MS-COCO & Cityscapes as in-domains and respective Cor-COCO & Foggy Cityscapes as out-domains. Our proposed method (Cal-DETR) effectively decreases D-ECE compared to methods: baseline, post-hoc, and train-time losses.