[논문 리뷰] A review of predictive uncertainty estimation with machine learning

Hristos Tyralis, Georgia Papacharalampous|arXiv (Cornell University)|2022. 09. 17.

Gaussian Processes and Bayesian Inference참고 문헌 458인용 수 7

한 줄 요약

이 논문은 기계학습에서 예측 불확실성 추정을 위한 방법에 대한 종합적인 리뷰를 제공하며, 통계 모델에서 현대의 딥러닝 기법에 이르기까지 다룹니다. 확률 예측 기법을 통합하고, 평가를 위한 적절한 스코링 규칙을 평가하며, 기계학습 응용 분야에서의 불확실성 정량화의 핵심 과제와 연구 방향을 규명합니다.

ABSTRACT

Predictions and forecasts of machine learning models should take the form of probability distributions, aiming to increase the quantity of information communicated to end users. Although applications of probabilistic prediction and forecasting with machine learning models in academia and industry are becoming more frequent, related concepts and methods have not been formalized and structured under a holistic view of the entire field. Here, we review the topic of predictive uncertainty estimation with machine learning algorithms, as well as the related metrics (consistent scoring functions and proper scoring rules) for assessing probabilistic predictions. The review covers a time period spanning from the introduction of early statistical (linear regression and time series models, based on Bayesian statistics or quantile regression) to recent machine learning algorithms (including generalized additive models for location, scale and shape, random forests, boosting and deep learning algorithms) that are more flexible by nature. The review of the progress in the field, expedites our understanding on how to develop new algorithms tailored to users' needs, since the latest advancements are based on some fundamental concepts applied to more complex algorithms. We conclude by classifying the material and discussing challenges that are becoming a hot topic of research.

연구 동기 및 목표

• 기계학습에서 예측 불확실성 추정에 관한 연구가 점점 증가하는 가운데 이를 통합하고 체계화하는 것.
• 적절한 스코링 규칙과 일관된 스코링 함수의 사용을 체계화하여 확률 예측의 평가를 위한 기반을 마련하는 것.
• 기계학습 모델에서 불확실성 정량화의 이론적 기초와 실용적 응용 사이의 격차를 메우는 것.
• 복잡한 실제 기계학습 시스템에서의 예측 불확실성 추정에 대한 열린 과제와 향후 연구 방향을 규명하는 것.

제안 방법

• 전통적인 통계 모델(예: 선형 회귀, 시계열 분석)에서 현대의 기계학습 알고리즘(예: 랜덤 포레스트, 기울기 부스팅, 딥러닝)에 이르기까지 예측 불확실성 추정 방법에 대한 체계적 리뷰.
• 예측 분포를 모델링하기 위한 유연한 프레임워크로 일반화된 가산 모델(위치, 척도, 형태용 GAMLSS)의 통합.
• 연속 순위 확률 스코어(CRPS), 로그 스코어, 브라이어 스코어 등과 같은 적절한 스코링 규칙을 활용한 확률 예측의 객관적 평가.
• 에누리 모델과 딥러닝 모델에서의 불확실성 추정 기법 분석, 예를 들어 몬테카를로 드롭아웃과 베이지안 신경망의 적용.
• 기본 가정, 계산 복잡도, 다양한 응용 분야에 대한 적합성에 기반한 기법 분류.
• 파라메트릭에서 비파라메트릭 및 딥러닝 기반 불확실성 추정으로의 방법론적 추세와 발전을 통합 분석.

실험 결과

연구 질문

• RQ1 다양한 데이터 유형과 구조에서 기계학습 모델들이 예측 불확실성을 어떻게 추정하고 표현하는가?
• RQ2 기계학습에서 확률 예측의 품질을 평가하기 위해 가장 효과적인 적절한 스코링 규칙은 무엇인가?
• RQ3 전통적 통계 기반 기법과 현대의 딥러닝 및 앙상블 모델의 불확실성 추정 기법은 어떻게 비교되는가?
• RQ4 현재 예측 불확실성 추정 접근법의 주요 제약 조건과 열린 과제는 무엇인가?
• RQ5 실제 응용에서 최종 사용자의 특정 요구사항을 충족시키기 위해 불확실성 추정을 어떻게 맞춤화할 수 있는가?

주요 결과

• 불확실성 추정을 포함한 확률 예측은 점 예측보다 richer한 정보를 제공함으로써 의사결정을 크게 향상시킵니다.
• 연속 순위 확률 스코어(CRPS)와 로그 스코어와 같은 적절한 스코링 규칙은 효과적이며 광범위하게 적용 가능한 예측 분포 평가 지표입니다.
• 딥러닝 신경망과 기울기 부스팅 트리와 같은 현대의 기계학습 모델은 몬테카를로 드롭아웃 및 앙상블 평균화 기법을 통해 신뢰할 수 있는 불확실성 추정을 가능하게 할 수 있습니다.
• 복잡한 모델에 불확실성 추정을 통합하는 것은 점점 가능해지고 있지만, 校정성(calibration), 계산 비용, 해석 가능성 등의 과제는 여전히 남아 있습니다.
• 다양한 응용 분야 간에 불확실성 추정 기법을 비교할 수 있도록 표준화된 평가 프로토콜과 벤치마킹 프레임워크가 점점 더 필요로 하고 있습니다.
• 이 리뷰는 소수의 샘플 학습 및 유사한 학습 환경에서의 불확실성 정량화와 불확실성의 모델 설명 가능성 및 강건성에서의 역할과 같은 새로운 추세를 규명합니다.