[논문 리뷰] Cal-DETR: Calibrated Detection Transformer

Muhammad Akhtar Munir, Salman Khan외 3명|arXiv (Cornell University)|2023. 11. 06.

Advanced Neural Network Applications인용 수 4

한 줄 요약

Cal-DETR는 비전 트랜스포머 기반 객체 검출기(Deformable-DETR, UP-DETR, DINO)에 대해 훈련 시점 캘리브레이션 방법을 제안하며, 불확실성 유도 로짓 조절과 로짓 혼합을 정규화 기법으로 사용한다. 이는 도메인 내 및 도메인 외 캘리브레이션을 모두 향상시키며, 검출 정확도를 유지하거나 향상시키며, MS-COCO 및 Cityscapes 벤치마크에서 기존 캘리브레이션 방법을 능가한다.

ABSTRACT

Albeit revealing impressive predictive performance for several computer vision tasks, deep neural networks (DNNs) are prone to making overconfident predictions. This limits the adoption and wider utilization of DNNs in many safety-critical applications. There have been recent efforts toward calibrating DNNs, however, almost all of them focus on the classification task. Surprisingly, very little attention has been devoted to calibrating modern DNN-based object detectors, especially detection transformers, which have recently demonstrated promising detection performance and are influential in many decision-making systems. In this work, we address the problem by proposing a mechanism for calibrated detection transformers (Cal-DETR), particularly for Deformable-DETR, UP-DETR and DINO. We pursue the train-time calibration route and make the following contributions. First, we propose a simple yet effective approach for quantifying uncertainty in transformer-based object detectors. Second, we develop an uncertainty-guided logit modulation mechanism that leverages the uncertainty to modulate the class logits. Third, we develop a logit mixing approach that acts as a regularizer with detection-specific losses and is also complementary to the uncertainty-guided logit modulation technique to further improve the calibration performance. Lastly, we conduct extensive experiments across three in-domain and four out-domain scenarios. Results corroborate the effectiveness of Cal-DETR against the competing train-time methods in calibrating both in-domain and out-domain detections while maintaining or even improving the detection performance. Our codebase and pre-trained models can be accessed at \url{https://github.com/akhtarvision/cal-detr}.

연구 동기 및 목표

• 최근 트랜스포머 기반 객체 검출기의 캘리브레이션 방법 부족 문제를 해결하기 위해, 특히 안전이 중요한 응용 분야에서의 적용을 목적으로 한다.
• 분포 이탈이 흔한 도메인 내 및 도메인 외 검출 시나리오에서 모델의 캘리브레이션을 향상시키기 위해 개선한다.
• 구조적 변경 없이 훈련 시점에만 적용 가능한 캘리브레이션 접근법을 개발한다.
• 로짓 공간에서 보완적인 정규화 기법을 도입하여 캘리브레이션과 함께 검출 성능을 향상시킨다.
• 최신 검출 트랜스포머에서 신뢰도 캘리브레이션을 향상시키기 위한 즉시 사용 가능한 솔루션을 제공한다.

제안 방법

• 구조적 변경 없이 쿼리별 어텐션 맵을 활용한 트랜스포머 기반 검출기에서의 새로운 불확실성 정량화 방법을 제안한다.
• 예측된 불확실성 점수에 기반해 클래스 로짓을 동적으로 조정하는 불확실성 유도 로짓 조절을 도입한다.
• 학습 가능한 혼합 계수 α를 통해 양성 쿼리의 예측을 결합하는 로짓 혼합 전략을 개발하며, 이는 검출 전용 손실과 함께 정규화 기법으로 작용한다.
• 표준 검출 손실(예: 박스 및 분류 손실)과 캘리브레이션 정규화 손실을 조합한 하이브리드 훈련 목표를 사용하며, 이는 λ로 가중된다.
• 로짓 혼합에 대해 단일 하이퍼파rameter α₁ ∈ [0.6, 0.9]를 사용하며, 검증 세트에서 α₁ = 0.9가 최적임을 확인하였다.
• 로짓 혼합의 일반화 및 캘리브레이션 향상을 위해 β = 0.3인 베타 분포 샘플링을 적용한다.

Figure 1 : Main architecture: An image is passed through a feature extractor CNN and unmodified transformer’s encoder structure, whereas the decoder is modified to get the model well calibrated. Logits are modulated based on uncertainty quantification that exploits the inbuilt design of the decoder

실험 결과

연구 질문

• RQ1 구조적 변경 없이 불확실성 추정을 트랜스포머 기반 객체 검출기에 효과적으로 통합할 수 있는가?
• RQ2 불확실성 유도 로짓 조절이 객체 검출 모델의 신뢰도 캘리브레이션을 향상시키는가?
• RQ3 로짓 혼합이 캘리브레이션과 검출 성능 향상에 보완적인 정규화 기법으로 작용할 수 있는가?
• RQ4 기존 캘리브레이션 방법과 비교해 Cal-DETR는 분포 이탈(도메인 외) 상황에서 어떻게 성능을 발휘하는가?
• RQ5 캘리브레이션과 검출 정확도 사이의 최적 트레이드오프를 이루는 하이퍼파rameter 설정(α, λ, β)은 무엇인가?

주요 결과

• Cityscapes(도메인 내)에서 Cal-DETR는 기준 D-DETR의 D-ECE를 13.8에서 8.4로 감소시켜 뚜렷한 캘리브레이션 향상을 보였다.
• 도메인 외인 안개 낀 Cityscapes 벤치마크에서 Cal-DETR는 D-ECE를 19.5에서 11.9로 감소시켜 분포 이탈에 대한 강건성을 입증했다.
• Cityscapes에서 AP(28.4 vs. 26.8)와 AP₀.₅(51.4 vs. 49.5)가 유지되거나 향상되어, 캘리브레이션 향상에도 불구하고 성능 저하가 없음을 확인했다.
• 제거 실험을 통해 불확실성 유도 로짓 조절과 로짓 혼합이 캘리브레이션에 독립적이고 상호보완적으로 기여하는 것으로 확인되었다.
• 최적의 로짓 혼합 가중치 α₁ = 0.9는 검출 정확도와 캘리브레이션 사이의 최상의 균형을 이룬 것으로 나타났으며, α₁ = 0.9가 다른 값보다 우수한 성능을 보였다.
• 단일 α를 사용하는 방법(Cal-DETR)이 샘플링 기반 변종(Cal-DETR S)보다 우수하여, 로짓 공간에서 더 안정적이고 효과적인 혼합이 가능함을 시사한다.

Figure 2 : D-DETR Calibration: MS-COCO & Cityscapes as in-domains and respective Cor-COCO & Foggy Cityscapes as out-domains. Our proposed method (Cal-DETR) effectively decreases D-ECE compared to methods: baseline, post-hoc, and train-time losses.