[論文レビュー] Cal-DETR: Calibrated Detection Transformer

Muhammad Akhtar Munir, Salman Khan+3 more|arXiv (Cornell University)|Nov 6, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

Cal-DETRは、ビジョントランスフォーマーに基づくオブジェクト検出器（Deformable-DETR、UP-DETR、DINO）の学習時キャリブレーション手法を提案する。不確実性誘導型ログィットモodulationとログィットミキシングを正則化子として用いる。性能を維持または向上させながら、ドメイン内およびドメイン外の両方のキャリブレーションを改善し、MS-COCOおよびCityscapesベンチマークで既存のキャリブレーション手法を上回る性能を達成する。

ABSTRACT

Albeit revealing impressive predictive performance for several computer vision tasks, deep neural networks (DNNs) are prone to making overconfident predictions. This limits the adoption and wider utilization of DNNs in many safety-critical applications. There have been recent efforts toward calibrating DNNs, however, almost all of them focus on the classification task. Surprisingly, very little attention has been devoted to calibrating modern DNN-based object detectors, especially detection transformers, which have recently demonstrated promising detection performance and are influential in many decision-making systems. In this work, we address the problem by proposing a mechanism for calibrated detection transformers (Cal-DETR), particularly for Deformable-DETR, UP-DETR and DINO. We pursue the train-time calibration route and make the following contributions. First, we propose a simple yet effective approach for quantifying uncertainty in transformer-based object detectors. Second, we develop an uncertainty-guided logit modulation mechanism that leverages the uncertainty to modulate the class logits. Third, we develop a logit mixing approach that acts as a regularizer with detection-specific losses and is also complementary to the uncertainty-guided logit modulation technique to further improve the calibration performance. Lastly, we conduct extensive experiments across three in-domain and four out-domain scenarios. Results corroborate the effectiveness of Cal-DETR against the competing train-time methods in calibrating both in-domain and out-domain detections while maintaining or even improving the detection performance. Our codebase and pre-trained models can be accessed at \url{https://github.com/akhtarvision/cal-detr}.

研究の動機と目的

• 最新のトランスフォーマー基盤オブジェクト検出器におけるキャリブレーション手法の不足、特に安全が求められる応用分野での課題を解決すること。
• 分布シフトが一般的なドメイン内およびドメイン外の検出シナリオにおいて、モデルのキャリブレーションを改善すること。
• アーキテクチャの変更を要せず、最小限の計算コスト増加で済む学習時キャリブレーションアプローチを開発すること。
• ログィット空間における補完的正則化技術を導入することで、キャリブレーションと検出性能の両方を向上させること。
• 最先端の検出トランスフォーマーにおける信頼度キャリブレーションを改善する即挿しソリューションを提供すること。

提案手法

• アーキテクチャの変更なしに、クエリごとのアテンションマップを用いたトランスフォーマー基盤検出器における新規な不確実性評価手法を提案する。
• 予測された不確実性スコアに基づいてクラスログィットを動的に調整する不確実性誘導型ログィットモodulationを導入する。
• 正例クエリの予測を学習可能なミキシング係数αを用いて組み合わせるログィットミキシング戦略を開発し、検出固有の損失とともに正則化子として機能させる。
• 標準的な検出損失（例：ボックス損失および分類損失）とキャリブレーション正則化損失を組み合わせたハイブリッド学習目的関数を採用し、λで重み付けする。
• ログィットミキシングに1つのハイパーパrameter α₁ ∈ [0.6, 0.9] を使用し、検証セットでα₁ = 0.9が最適であると判明した。
• 一般化およびキャリブレーションの向上を図るため、ログィットミキシングにベータ分布サンプリング（β = 0.3）を適用する。

Figure 1 : Main architecture: An image is passed through a feature extractor CNN and unmodified transformer’s encoder structure, whereas the decoder is modified to get the model well calibrated. Logits are modulated based on uncertainty quantification that exploits the inbuilt design of the decoder

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、不確実性推定をトランスフォーマー基盤オブジェクト検出器に効果的に統合できるか？
• RQ2 不確実性誘導型ログィットモodulationは、オブジェクト検出モデルの信頼度キャリブレーションを改善するか？
• RQ3 ログィットミキシングは、キャリブレーションと検出性能の両方を向上させる補完的正則化子として機能するか？
• RQ4 分布シフト（ドメイン外）下でのCal-DETRの性能は、既存のキャリブレーション手法と比較してどうか？
• RQ5 α、λ、βのハイパーパrameter設定は、キャリブレーションと検出精度の間で最適なトレードオフを達成するか？

主な発見

• ドメイン内Cityscapesで、ベースラインD-DETRのD-ECEを13.8から8.4に低減させ、顕著なキャリブレーション改善を示した。
• ドメイン外Foggy Cityscapesベンチマークでは、D-ECEを19.5から11.9に低減させ、分布シフトに対して高いロバストネスを示した。
• CityscapesでのAP（28.4 vs. 26.8）およびAP₀.₅（51.4 vs. 49.5）は維持または向上させ、キャリブレーション向上にもかかわらず性能低下がなかった。
• アブレーションスタディにより、不確実性誘導型ログィットモodulationとログィットミキシングの両方が独立してかつ相乗的にキャリブレーションに寄与することが確認された。
• 最適なログィットミキシング重みα₁ = 0.9が、検出精度とキャリブレーションの両面で最良のバランスを達成し、他の値よりも優れた性能を示した。
• 単一のαを用いる手法（Cal-DETR）が、サンプリングベースの変種（Cal-DETR S）を上回った。これは、ログィット空間におけるより安定的かつ効果的なミキシングを示している。

Figure 2 : D-DETR Calibration: MS-COCO & Cityscapes as in-domains and respective Cor-COCO & Foggy Cityscapes as out-domains. Our proposed method (Cal-DETR) effectively decreases D-ECE compared to methods: baseline, post-hoc, and train-time losses.