[논문 리뷰] Accurate Uncertainties for Deep Learning Using Calibrated Regression

Volodymyr Kuleshov, Nathan Fenner외 1명|arXiv (Cornell University)|2018. 07. 01.

Anomaly Detection Techniques and Applications참고 문헌 18인용 수 271

한 줄 요약

이 논문은 회귀에 대한 사후 재보정(post-hoc recalibration) 방법을 제시하여 Bayesian 신경망을 포함한 모든 회귀 모델에 대해 보정된 불확실성 추정치를 제공하고, 시계열 예측 및 모델 기반 강화학습에서 보정이 개선되었음을 보여준다.

ABSTRACT

Methods for reasoning under uncertainty are a key building block of accurate and reliable machine learning systems. Bayesian methods provide a general framework to quantify uncertainty. However, because of model misspecification and the use of approximate inference, Bayesian uncertainty estimates are often inaccurate -- for example, a 90% credible interval may not contain the true outcome 90% of the time. Here, we propose a simple procedure for calibrating any regression algorithm; when applied to Bayesian and probabilistic models, it is guaranteed to produce calibrated uncertainty estimates given enough data. Our procedure is inspired by Platt scaling and extends previous work on classification. We evaluate this approach on Bayesian linear regression, feedforward, and recurrent neural networks, and find that it consistently outputs well-calibrated credible intervals while improving performance on time series forecasting and model-based reinforcement learning tasks.

연구 동기 및 목표

• AI 시스템의 회귀에서 신뢰할 수 있는 불확실성 정량화의 필요성을 제시한다.
• 보정되지 않은 예측을 보정된 예측으로 변환하는 일반적이고 사후 재보정 절차를 제안한다.
• 베이지안 선형 회귀, 피드포워드 및 순환 베이지안 네트에 방법을 적용하고 예측 및 강화학습 작업에 적용한다.
• 예측을 평가하기 위한 보정 및 샤프니스 진단 및 가이드를 제공한다.

제안 방법

• 분류에서의 Platt 스타일 재보정을 회귀로 Adapt 하여 보정된 확률로 매핑하는 보조 재보정 모델 R:[0,1]→[0,1]를 학습한다.
• base forecaster H와 경험 확률 ˆP(p)=|{t:Ft(yt)≤p}|/T를 사용하여 재보정 데이터셋을 구성한다.
• R(예: 등판 회귀 isotonic regression)을 학습시켜 H의 출력 값을 보정된 확률로 매핑한다.
• Bayesian 및 확률적 예측 Ft에 재보정을 적용하여 보정된 CDFs F̃t = R∘Ft를 얻는다.
• 확률적이지 않은 예측기에서도 적절한 증가 함수 F를 통해 보정할 수 있는 feature-based 재보정을 논의한다.
• 보정 진단(보정 그래프) 및 샤프니스(Ft의 분산)에 대한 진단 방법을 도입한다.
• 스 heteroscedastic 신호와 간단한 특징들을 활용하는 것을 포함하여 Bayesian 모델에 재보정을 적용하기 위한 실용적 지침을 제공한다.

실험 결과

연구 질문

• RQ1 어떤 회귀 모델에서도 간단한 사후 재보정으로 보정된 불확실성 추정치를 얻을 수 있는가?
• RQ2 재보정이 보정 품질과 예측의 샤프니스에 대해 베이지안 및 비베이지안 회귀 모델 간에 어떤 영향을 미치는가?
• RQ3 보정된 예측이 시계열 예측 및 모델 기반 강화학습 작업의 성능을 향상시키는가?
• RQ4 보정 품질과 예측 샤프니스를 가장 잘 드러내는 진단 도구는 무엇인가?

주요 결과

• 제안된 재보정 방법은 충분한 iid 데이터가 주어지면 다양한 회귀 모델에 대해 일관되게 잘 보정된 신뢰 구간을 제공합니다.
• 재보정된 예측은 기준점 예측 정확도를 희생하지 않고 보정이 향상되며 때로는 더 복잡한 보정 기준선보다 우수합니다.
• 보정은 시계열 예측 및 모델 기반 강화학습과 같은 실제 작업의 성능 향상을 보여주며 경험적 빈도와 계획 성능 간의 정렬이 더 잘 이루어집니다.
• 등판 회귀는 보정 함수의 단조성을 존중하는 견고하고 비모수적 재보정기로 작동합니다.
• 보정된 회귀는 경험적 빈도에 기반한 해석 가능 불확실성 추정치를 제공하여 빈도주의 보정과 베이지안 예측 간의 다리를 놓습니다.