[논문 리뷰] Calibrating Uncertainties in Object Localization Task

Buu Phan, Rick Salay외 4명|arXiv (Cornell University)|2018. 11. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 19

한 줄 요약

이 논문은 오ックス포드-IIIT 펫스 데이터셋에서 객체 검출에 사용되는 베이지안 신경망(BNN) 기반의 경계 상자 예측에서 잘못 校정된 불확실성 추정 문제를 다루며, Kuleshov 등이 제안한 회귀 校정 방법을 BNN 기반의 경계 상자 예측에 적용한다. 교정된 불확실성은 신뢰도를 향상시키며, 오류의 평균 제곱 오차가 2.7×10⁻²에서 2.7×10⁻⁴으로 감소함으로써 모든 경계 상자 좌표에서 개선됨을 보여준다.

ABSTRACT

In many safety-critical applications such as autonomous driving and surgical robots, it is desirable to obtain prediction uncertainties from object detection modules to help support safe decision-making. Specifically, such modules need to estimate the probability of each predicted object in a given region and the confidence interval for its bounding box. While recent Bayesian deep learning methods provide a principled way to estimate this uncertainty, the estimates for the bounding boxes obtained using these methods are uncalibrated. In this paper, we address this problem for the single-object localization task by adapting an existing technique for calibrating regression models. We show, experimentally, that the resulting calibrated model obtains more reliable uncertainty estimates.

연구 동기 및 목표

• 객체 검출 작업, 특히 경계 상자 좌표에 대한 불확실성 추정의 신뢰도를 조사하는 것.
• 베이지안 신경망(BNN)은 분류 불확실성은 잘 교정되지만, 위치 추정 불확실성은 잘못 교정됨을 확인하는 것.
• 2D 단일 객체 분류 및 검출(SOCL) 작업에서 위치 불확실성의 잘못된 교정을 해결하는 것.
• 회귀 교정 기법을 적응하여 경계 상자 불확실성 추정의 신뢰도를 향상시키는 것.
• 신뢰도 다이어그램과 MSE 지표를 사용하여 오ックス포드-IIIT 펫스 데이터셋에서 교정의 효과성을 검증하는 것.

제안 방법

• 각 경계 상자 좌표에 대해 예측 평균과 분산(지식 기반 및 고유 불확실성 포함)을 추정하기 위해 몬테카를로 드롭아웃을 사용한 베이지안 신경망(BNN)을 사용한다.
• 예측된 경계 상자 좌표를 독립적인 정규분포로 모델링한다: $ p(b_i|\mathbf{x}) = \mathcal{N}(\bar{b}_i, \bar{\sigma}^2_i) $.
• 정규분포의 누적분포함수(CDF)를 사용하여 신뢰구간을 계산한다: $ P_{b_i|\mathbf{x}}(z) = \Phi(z|\bar{b}_i, \bar{\sigma}^2_i) $.
• 역누적분포함수를 사용하여 신뢰수준 $ q $ 를 예측 구간으로 매핑한다: $ P^{-1}_{b_i|\mathbf{x}}(q) $, 이로써 $ 100q\% $ 신뢰구간을 정의한다.
• 예측된 CDF 값이 관측된 커버리지 비율과 일치하도록 하는 파arametric 회귀 모델 $ R_i $ 을 사용해 모델을 교정한다.
• 검증 데이터를 사용하여 교정 함수 $ R_i $ 를 피팅하며, 이는 예측된 불확실성을 실제 커버리지 빈도와 일치하도록 조정한다.

실험 결과

연구 질문

• RQ1 BNN 기반 객체 검출기에서 경계 상자 좌표의 불확실성 추정이 잘 교정되어 있는가?
• RQ2 위치 불확실성의 잘못된 교정이 실세계 응용에서 신뢰구간의 신뢰도를 떨어뜨리는가?
• RQ3 기존의 회귀 교정 기법을 적응하여 경계 상자 불확실성 추정의 신뢰도를 향상시킬 수 있는가?
• RQ4 교정이 위치 구간의 예측 및 실제 커버리지 빈도 간 평균 제곱오차(MSE)에 어떤 영향을 미치는가?
• RQ5 교정 방법은 SOCL 작업의 네 가지 경계 상자 좌표(x_min, y_min, x_max, y_max) 전반에 걸쳐 효과적인가?

주요 결과

• 원래 BNN 모델은 심각하게 잘못 교정된 위치 불확실성 추정을 보이며, 기대되는 40% 신뢰구간이 진짜 값의 20%만 커버하고, 60% 구간은 80%의 진짜 값을 커버한다.
• 교정 후 추정된 20% 신뢰구간은 진짜 경계 상자 좌표의 약 20%를 커버하며, 이는 향상된 신뢰도를 나타낸다.
• 교정 이후 모든 네 가지 경계 상자 좌표에서 예측된 커버리지 빈도와 실제 커버리지 빈도 간 평균 제곱오차(MSE)가 2.7×10⁻²에서 2.7×10⁻⁴으로 감소하였다.
• MC-dropout를 통한 분류 불확실성 추정은 이미 잘 교정되어 있었으며(MSE = 3.0×10⁻³), 원래의 가중치 스케일링 방법은 더 높은 잘못된 교정을 보였다(MSE = 1.6×10⁻²).
• 교정된 모델은 더 신뢰할 수 있는 95% 신뢰구간을 생성하며, 그림 1d에서 볼 수 있듯이 파란 영역(95% 구간)이 대부분의 경우 진짜값(粉색)을 안정적으로 둘러싸고 있다.
• 교정 과정은 효과적이며 계산 비용이 매우 낮으며, 불확실성 추정 및 교정에 거의 영향을 주지 않지만, 지식 기반 불확실성 추정은 여전히 비용이 많이 든다.