[논문 리뷰] Parametric and Multivariate Uncertainty Calibration for Regression and Object Detection

Fabian Küppers, Jonas Schneider외 1명|arXiv (Cornell University)|2022. 07. 04.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 확률적 객체 검출 모델을 위한 가우시안 프로세스 기반 재교정 프레임워크를 제안하며, 이는 매개변수적 불확실성 교정(Gaussian/Cauchy)과 다변량 공분산 추정을 가능하게 한다. 이는 등량 교정에서 이소톤 회귀(Isotonic Regression)가 최적의 성능을 보이며, 후속 응용 분야인 칼만 필터링을 위한 분산 교정에서 제안된 다변량 GP-Normal 방법이 가장 우수한 성능을 보임을 시현한다.

ABSTRACT

Reliable spatial uncertainty evaluation of object detection models is of special interest and has been subject of recent work. In this work, we review the existing definitions for uncertainty calibration of probabilistic regression tasks. We inspect the calibration properties of common detection networks and extend state-of-the-art recalibration methods. Our methods use a Gaussian process (GP) recalibration scheme that yields parametric distributions as output (e.g. Gaussian or Cauchy). The usage of GP recalibration allows for a local (conditional) uncertainty calibration by capturing dependencies between neighboring samples. The use of parametric distributions such as as Gaussian allows for a simplified adaption of calibration in subsequent processes, e.g., for Kalman filtering in the scope of object tracking. In addition, we use the GP recalibration scheme to perform covariance estimation which allows for post-hoc introduction of local correlations between the output quantities, e.g., position, width, or height in object detection. To measure the joint calibration of multivariate and possibly correlated data, we introduce the quantile calibration error which is based on the Mahalanobis distance between the predicted distribution and the ground truth to determine whether the ground truth is within a predicted quantile. Our experiments show that common detection models overestimate the spatial uncertainty in comparison to the observed error. We show that the simple Isotonic Regression recalibration method is sufficient to achieve a good uncertainty quantification in terms of calibrated quantiles. In contrast, if normal distributions are required for subsequent processes, our GP-Normal recalibration method yields the best results. Finally, we show that our covariance estimation method is able to achieve best calibration results for joint multivariate calibration.

연구 동기 및 목표

• 객체 검출을 위한 다변량 회귀 과제에서 매개변수적 불확실성 교정의 부족을 해결하기 위해.
• 공간 차원(예: 위치, 너비, 높이) 간의 공분산 추정을 후행적으로 가능하게 하여 조건부 상관관계를 모델링하기 위해.
• 확률적 검출 모델의 등량 및 분산 교정 측면에서 재교정 방법을 평가하고 비교하기 위해.
• 자율주행과 같은 안전 중심 응용 분야와 호환되는 유연하고 오픈소스의 재교정 프레임워크를 제공하기 위해.

제안 방법

• 입력에 따라 변화하는 불확실성 매개변수를 추정하기 위해 가우시안 프로세스(GP) 재교정을 사용하며, 비모수적 출력을 모수적 분포(Gaussian 또는 Cauchy)로 대체한다.
• GP-Normal 재교정을 적용하여 완전한 공분산 행렬을 갖는 교정된 다변량 정규분포를 생성한다.
• 공동 다변량 교정을 평가하기 위해 마할라노비스 거리 기반의 등량 교정 오차 지표를 도입한다.
• GP 기반의 불확실성 모델링을 통해 출력 차원 간의 상관관계를 학습하여 후행적 공분산 추정을 수행한다.
• 비교를 위해 이소톤 회귀와 분산 스케일링을 기준 방법으로 활용한다.
• 공간 불확실성 출력을 갖는 확률적 RetinaNet 모델을 대상으로 방법을 검증한다.

실험 결과

연구 질문

• RQ1 GP 기반 재교정은 칼만 필터링에 적합한 신뢰할 수 있는 모수적 불확실성 분포(Gaussian 등)를 생성할 수 있는가?
• RQ2 공분산 추정을 포함한 공동 다변량 재교정은 개별 차원 재교정보다 교정 성능을 향상시키는가?
• RQ3 다양한 재교정 방법은 등량 및 분산 교정 측면에서 어떻게 비교되는가?
• RQ4 객체 검출에서 예측 오차 분포는 정규분포보다 코시분포로 더 잘 근사되는가?
• RQ5 공간적 위치가 오차 분포에 영향을 미치는가? 이는 조건부 재교정의 타당성을 뒷받침하는가?

주요 결과

• 일반적인 확률적 객체 검출 모델은 공간 불확실성 추정에서 과소신뢰하는 경향이 있다.
• 예측 오차 분포는 정규분포보다 코시분포로 더 잘 근사된다.
• 이소톤 회귀는 누적분포함수의 형태를 다룰 수 있는 유연성 덕분에 가장 뛰어난 등량 교정 성능을 기록한다.
• 다변량 GP-Normal 방법은 다른 방법들보다도 매개변수적 모멘트가 필요한 경우에 가장 뛰어난 분산 교정 성능을 보이며, 우수한 성능을 기록한다.
• 예측 오차와 객체 위치 간에 유의미한 상관관계가 없음을 확인하여, 등량 교정에는 개별 차원 재교정만으로도 충분함을 시사한다.
• 제안된 GP-Normal 방법은 정확한 후행적 공분산 추정을 가능하게 하여 공동 다변량 교정을 향상시킨다.