[논문 리뷰] Calibrated and Sharp Uncertainties in Deep Learning via Density Estimation

Volodymyr Kuleshov, Shachi Deshpande|arXiv (Cornell University)|2021. 12. 14.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 최소한의 차원 수의 밀도 추정을 통해 분포 캘리브레이션을 달성하는 간단하고 일반적인 재보정 방법을 제안한다. 이는 확률적 예측이 잘 캘리브레이션되어 있고 날카롭게 유지되도록 보장한다. 이 방법은 예측 분포를 재매핑하기 위해 분위수 함수 회귀를 사용하며, 이는 이전의 방법들보다 캘리브레이션 성능을 뛰어나게 하면서도 분류 및 회귀 작업 전반에서 높은 정확도를 유지한다.

ABSTRACT

Accurate probabilistic predictions can be characterized by two properties -- calibration and sharpness. However, standard maximum likelihood training yields models that are poorly calibrated and thus inaccurate -- a 90% confidence interval typically does not contain the true outcome 90% of the time. This paper argues that calibration is important in practice and is easy to maintain by performing low-dimensional density estimation. We introduce a simple training procedure based on recalibration that yields calibrated models without sacrificing overall performance; unlike previous approaches, ours ensures the most general property of distribution calibration and applies to any model, including neural networks. We formally prove the correctness of our procedure assuming that we can estimate densities in low dimensions and we establish uniform convergence bounds. Our results yield empirical performance improvements on linear and deep Bayesian models and suggest that calibration should be increasingly leveraged across machine learning. We release a library that implements our methods along with a blog post here: https://shachideshpande.github.io/blog-distribution-calibration/.

연구 동기 및 목표

• 최대우도 기반으로 훈련된 딥러닝 모델에서 널리 퍼져 있는 불확실성의 캘리브레이션 오류 문제를 해결하기 위해.
• 신경망을 포함한 다양한 모델에 대해 분포 캘리브레이션을 달성할 수 있는 일반적이고 단순하며 이론적으로 탄탄한 방법을 개발하기 위해.
• 모델 성능을 희생시키지 않고도 예측 불확실성의 캘리브레이션과 날카로움을 모두 향상시키기 위해.
• 점 渐진적 분포 캘리브레이션을 보장하는 프레임워크를 수식적으로 정의하고 경험적으로 검증하기 위해.
• 분포 캘리브레이션은 이전에 생각했던 것보다 더 접근하기 쉬우며 실용적임을 입증하여 머신러닝 분야에서 널리 채택될 수 있도록 장려하기 위해.

제안 방법

• 이 방법은 분위수 함수 회귀를 통해 예측된 분위수에서 관측된 캘리브레이션 통계치로의 학습된 매핑을 수행하여 재보정을 수행한다.
• 예측 분포 F가 주어졌을 때 조건부 밀도 P(Y | F)를 추정함으로써, 각 예측 특징에 따라 불확실성을 조정함으로써 분포 캘리브레이션을 달성한다.
• 예측된 분위수를 재보정된 분위수로 매핑하는 데 신경망 또는 단순 회귀 모델 R을 사용하며, 캘리브레이션 오차 목표 함수를 최소화한다.
• 이 방법은 낮은 차원 수의 밀도 추정이 가능하다는 가정을 바탕으로 하며, 균일 수렴 경계를 사용하여 이론적 정확성을 보장한다.
• 전역 재보정이 아닌 각 예측에 대한 분산 조정이 가능한 점에서 플랫팅 스케일링과 이소톤 회귀를 일반화한다.
• 이 프레임워크는 분류 및 회귀 모두를 지원하며, 몇 줄의 코드로 쉽게 구현 가능하여 광범위하게 접근 가능하다.

실험 결과

연구 질문

• RQ1 예측 성능을 희생시키지 않고 다양한 딥러닝 모델에 대해 효율적이고 일반적인 방식으로 분포 캘리브레이션을 달성할 수 있는가?
• RQ2 저차원 밀도 추정은 기존의 분위수 기반 재보정 방법보다 왜 더 나은 캘리브레이션을 가능하게 하는가?
• RQ3 점 渐진적 분포 캘리브레이션을 보장하는 재보정 절차에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 복잡한 변분 근사와 비교해도 단순한 엔드 투 엔드 트레이너블 방법이 불확실성 캘리브레이션에서 뛰어난 성능을 낼 수 있는가?
• RQ5 분포 캘리브레이션은 베이지안 및 딥러닝 모델에서 불확실성 품질을 어느 정도 향상시키는가?

주요 결과

• 제안된 재보정 방법은 플랫팅 스케일링, 온도 스케일링, 그리고 Song 등(2019)의 변분 추론 기반 방법과 비교해도 뛰어난 분포 캘리브레이션 성능을 보였다.
• 경험적 결과는 선형 모델, 베이지안 신경망, 컬러레이션 신경망 등 다양한 분류 작업에서 캘리브레이션 지표에 일관된 향상을 보였다.
• 예측 정확도를 유지하면서도 적절한 스코링 규칙과 캘리브레이션 곡선으로 측정한 불확실성 품질이 크게 향상되었다.
• 이 방법은 더 좁은 너비를 가진 더 날카롭고 신뢰할 수 있는 신뢰 구간을 가능하게 했으며, 예를 들어 90% 신뢰구간은 진짜 결과를 약 90%의 비율로 정확히 포함하였다.
• 이론적 분석을 통해 균일 수렴 경계를 확립하고, 점 渐진적 분포 캘리브레이션을 실현하며 잔여 오차가 점점 줄어드는 것을 증명하였다.
• 이 방법은 계산적으로 효율적이며 쉽게 구현 가능하여, 기존 모델에 통합하기 위해 몇 줄의 코드만으로도 가능하다.