[논문 리뷰] CRUDE: Calibrating Regression Uncertainty Distributions Empirically

Eric Zelikman, Christopher Healy외 2명|arXiv (Cornell University)|2020. 05. 26.

Fault Detection and Control Systems참고 문헌 46인용 수 14

한 줄 요약

CRUDE는 예측 오차 분포의 형태를 보류 캘리브레이션 세트에서 경험적으로 학습함으로써 회귀 불확실성에 대한 사후 캘리브레이션 방법이다. 특정한 파라미터 형식을 가정하지 않으며, UCI 데이터셋과 객체 검출 벤치마크에서 상태의 기술인 가우시안 최대우도추정(MLE) 및 Kuleshov 등과 비교해 보다 우수한 캘리브레이션과 날카로움을 달성한다.

ABSTRACT

Calibrated uncertainty estimates in machine learning are crucial to many fields such as autonomous vehicles, medicine, and weather and climate forecasting. While there is extensive literature on uncertainty calibration for classification, the classification findings do not always translate to regression. As a result, modern models for predicting uncertainty in regression settings typically produce uncalibrated and overconfident estimates. To address these gaps, we present a calibration method for regression settings that does not assume a particular uncertainty distribution over the error: Calibrating Regression Uncertainty Distributions Empirically (CRUDE). CRUDE makes the weaker assumption that error distributions have a constant arbitrary shape across the output space, shifted by predicted mean and scaled by predicted standard deviation. We detail a theoretical connection between CRUDE and conformal inference. Across an extensive set of regression tasks, CRUDE demonstrates consistently sharper, better calibrated, and more accurate uncertainty estimates than state-of-the-art techniques.

연구 동기 및 목표

• 회귀 모델에서 효과적인 불확실성 캘리브레이션의 부족을 해결하며, 일반적으로 과신된 예측을 생성하는 문제를 해결한다.
• 특정 오차 분포(예: 가우시안)를 가정하거나 가역적인 캘리브레이션 곡선에 의존하는 기존 캘리브레이션 방법의 한계를 극복한다.
• 보조 모델이나 강력한 분포 가정 없이도 캘리브레이션과 날카로움이라는 상호 모순되는 목표를 동시에 향상시키는 방법을 개발한다.
• 표본 데이터와 객체 검출을 포함한 다양한 회귀 작업에서 CRUDE의 효과성을 입증한다. 여기서 불확실성 캘리브레이션은 매우 중요하다.
• CRUDE와 순차적 추론(conformal inference) 사이의 이론적 연결을 구축함으로써 경험적 캘리브레이션을 통계학적으로 잘 정립된 프레임워크와 연결한다.

제안 방법

• CRUDE는 보류 캘리브레이션 세트를 사용하여 데이터셋 전반에 걸친 예측 오차(y_true - y_pred)의 분포를 경험적으로 추정한다.
• 오차 분포가 입력 공간 전반에 걸쳐 고정된 임의의 형태를 가지며, 예측 평균에 의해 이동되고 예측 표준편차에 의해 스케일링된다고 가정한다.
• 각 새로운 예측에 대해, CRUDE는 표준화된 오차 (y_true - y_pred) / 예측 표준편차에 경험적 오차 누적분포함수를 적용하여 校정된 불확실성 분포를 구성한다.
• 직접 경험적 누적분포함수(ECDF)를 사용함으로써 파라미터 형식을 가정하지 않으며, 비대칭적이거나 꼬리가 두꺼운 오차 분포에 적응할 수 있다.
• CRUDE는 사후 적용 방식이므로, 평균과 분산 예측을 출력하는 임의의 사전 훈련된 회귀 모델과 함께 사용할 수 있다.
• 일부 조건 하에서는 수학적으로 순차적 추론과 동치이며, 경험적 캘리브레이션을 이론적으로 탄탄한 프레임워크와 연결한다.

실험 결과

연구 질문

• RQ1 오차 분포에 특정한 파라미터 형식을 가정하지 않고도, 캘리브레이션과 날카로움을 동시에 향상시킬 수 있는 캘리브레이션 방법이 존재하는가?
• RQ2 다양한 회귀 데이터셋에서 CRUDE는 가우시안 MLE 및 Kuleshov 등과 비교해 캘리브레이션과 날카로움 측면에서 어떻게 성능을 내는가?
• RQ3 실제 응용 분야인 사전 훈련된 모델을 사용한 객체 검출에서 CRUDE는 불확실성 캘리브레이션을 어느 정도 향상시키는가?
• RQ4 CRUDE와 순차적 추론 사이의 이론적 관계는 무엇이며, 이러한 연결은 해석 가능성과 신뢰성에 어떻게 기여하는가?
• RQ5 비정상적인 오차 분포 또는 제한된 캘리브레이션 데이터 등 가정 위반에 대해 CRUDE는 얼마나 민감한가?

주요 결과

• UCI 벤치마크 데이터셋에서, CRUDE는 다양한 모델과 데이터셋에서 Kuleshov 등과 가우시안 MLE보다 항상 더 우수한 캘리브레이션과 날카로운 불확실성 추정을 달성한다.
• COCO에서 객체 검출 작업을 수행한 결과, CRUDE는 캘리브레이션 RMSE를 비캘리브레이션 모델 대비 90% 감소시켰으며, Kuleshov 등 방법 대비 최고 성능을 보인 DETR 모델에서 72% 감소시켰다.
• COCO에서 테스트한 9개의 모델 조합 중 8개에서 CRUDE는 캘리브레이션과 날카로움 모두에서 Kuleshov 등 방법을 능가했다.
• 몬테카를로 드롭아웃 및 NGBoost와 같은 다양한 불확실성 추정 전략을 사용하는 모델들 간에도 CRUDE는 뛰어난 강건성을 보였다.
• 경험적 오차 분포는 종종 비대칭성과 첨도를 보였으며, 이는 가우시안 MLE와 같은 파라미터 방법이 실생활에서 성능이 열 劣하는 이유를 설명한다.
• CRUDE와 순차적 추론 사이에 이론적 동치성이 확립되었으며, 이는 CRUDE의 캘리브레이션이 동일한 빈도적 커버리지 보장 조건을 만족함을 보여준다.