[논문 리뷰] Towards Improving Calibration in Object Detection Under Domain Shift

Muhammad Akhtar Munir, Muhammad Haris Khan외 2명|arXiv (Cornell University)|2022. 09. 15.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 도메인 내 및 도메인 외 검출 시나리오에서 신뢰도 캘리브레이션을 향상시키기 위해 딥 뉴럴 네트워크 기반 객체 검출기용 플러그 앤 플레이 학습 시 캘리브레이션 손실(TCD)을 제안한다. 또한 자기 학습 도메인 적응에서 불확실성 정량화를 활용한 암묵적 캘리브레이션 기법(ICT)을 도입하여, TCD와 ICT를 조합할 경우 정확도를 손상시키지 않은 채 캘리브레이션을 크게 향상시킴을 보여주며, 특히 도메인 이탈이 심한 상황에서 뛰어난 성능을 발휘한다.

ABSTRACT

With deep neural network based solution more readily being incorporated in real-world applications, it has been pressing requirement that predictions by such models, especially in safety-critical environments, be highly accurate and well-calibrated. Although some techniques addressing DNN calibration have been proposed, they are only limited to visual classification applications and in-domain predictions. Unfortunately, very little to no attention is paid towards addressing calibration of DNN-based visual object detectors, that occupy similar space and importance in many decision making systems as their visual classification counterparts. In this work, we study the calibration of DNN-based object detection models, particularly under domain shift. To this end, we first propose a new, plug-and-play, train-time calibration loss for object detection (coined as TCD). It can be used with various application-specific loss functions as an auxiliary loss function to improve detection calibration. Second, we devise a new implicit technique for improving calibration in self-training based domain adaptive detectors, featuring a new uncertainty quantification mechanism for object detection. We demonstrate TCD is capable of enhancing calibration with notable margins (1) across different DNN-based object detection paradigms both in in-domain and out-of-domain predictions, and (2) in different domain-adaptive detectors across challenging adaptation scenarios. Finally, we empirically show that our implicit calibration technique can be used in tandem with TCD during adaptation to further boost calibration in diverse domain shift scenarios.

연구 동기 및 목표

• 딥 러닝 기반 객체 검출기의 캘리브레이션 기법 부족 문제, 특히 도메인 이탈 상황에서의 문제를 해결하기 위해.
• 분포 이탈이 발생하여 예측 신뢰도가 떨어지는 도메인 내 및 도메인 외 설정 모두에서 객체 검출기의 캘리브레이션을 향상시키기 위해.
• 백본 아키텍처를 수정하지 않고도 신뢰도 캘리브레이션을 향상시키는 플러그 앤 플레이, 학습 시 캘리브레이션 손실(TCD)을 개발하기 위해.
• 자기 학습 기반 도메인 적응 검출기에서 불확실성 정량화를 활용한 암묵적 캘리브레이션 방법(ICT)을 설계하기 위해.
• TCD와 ICT가 상호 보완적이며 다양한 도메인 이탈 시나리오에서 캘리브레이션을 함께 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 학습 중에 분류 신뢰도와 바운딩 박스 정렬을 모두 정규화하는 새로운 보조 손실 함수인 TCD를 제안한다.
• TCD는 예측된 신뢰도와 실제 정확도 사이의 격차를 최소화하는 신뢰도 캘리브레이션 항목을 통합하여, 모든 클래스에 걸쳐 캘리브레이션을 개선한다.
• 자기 학습에서 저신뢰도 페시브 레이블을 걸러내기 위해 예측된 신뢰도, 중심 좌표, 종횡비에서 유도된 불확실성 추정을 활용하는 암묵적 캘리브레이션 기법(ICT)을 도입한다.
• ICT에서는 신뢰도, 공간(x,y), 종횡비 예측을 조합한 다중 구성 요소 불확실성 정량화 전략을 적용하여 페시브 레이블의 품질을 향상시킨다.
• TCD를 다양한 검출 헤드(일단계 및 이단계)와 함께 적용하고, SSAL 및 UGPL과 같은 도메인 적응 프레임워크와 통합한다.
• Sim10k→Cityscapes, Cityscapes→Cityscapes-foggy, KITTI→Cityscapes, Cityscapes→BDD100K 등의 다양한 도메인 이탈 벤치마크에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 학습 시 캘리브레이션 손실이 도메인 내 및 도메인 외 검출 시나리오에서 객체 검출기의 신뢰도 캘리브레이션을 향상시킬 수 있는가?
• RQ2 다양한 객체 검출 아키텍처와 손실 함수와 함께 TCD 손실이 어떻게 성능을 발휘하는가?
• RQ3 불확실성 인식 페시브 레이블링을 통한 암묵적 캘리브레이션은 자기 학습 기반 도메인 적응 검출기에서 캘리브레이션을 향상시킬 수 있는가?
• RQ4 제안된 암묵적 캘리브레이션 기법(ICT)이 도메인 이탈 상황에서 캘리브레이션 향상에 TCD 손실과 보완적인가?
• RQ5 불확실성 정량화의 어떤 구성 요소(신뢰도, 위치, 종횡비)가 도메인 적응에서 캘리브레이션 향상에 가장 효과적인가?

주요 결과

• TCD는 다양한 검출 모델과 도메인 이탈 상황에서 분포 기반 기대 캘리브레이션 오차(D-ECE)를 최대 40%까지 감소시키며, 특히 Sim10k→Cityscapes에서 ICT와 조합했을 때 최고 성능(D-ECE: 7.9)을 기록한다.
• TCD 추가로 평균 정밀도(mAP@0.5)가 다양한 이탈 시나리오에서 4.7~12.8 포인트 향상되며, 정확도에 미미한 부정적 영향을 미친다.
• TCD의 구성 요소 d_det은 핵심적이다: 이를 제거하면 D-ECE가 최대 4.8 포인트 증가하여 국소화 캘리브레이션 안정성 확보 기능을 확인한다.
• 전체 불확실성 정량화(신뢰도, x/y, 종횡비)를 적용한 ICT는 Sim10k→Cityscapes에서 가장 낮은 D-ECE(12.7)를 기록하며, 단지 신뢰도 또는 신뢰도 + 공간 좌표만 사용하는 방법보다 뛰어난 성능을 보인다.
• TCD와 ICT를 조합하면 전체적으로 가장 우수한 캘리브레이션 성능을 기록하며, Sim10k→Cityscapes에서는 D-ECE를 7.9로, Cityscapes→Cityscapes-foggy에서는 16.7로 감소시켜 상호 보완성 확인.
• 아블레이션 연구를 통해 TCD가 다중 클래스 도메인 이탈 설정에서 특히 과신과 과소신을 모두 완화함을 확인하며, 클래스별 신뢰도 다이어그램에서 뚜렷한 개선 효과를 보였다.