[논문 리뷰] Probabilistic supervised learning

Frithjof Gressmann, Franz J. Király외 2명|arXiv (Cornell University)|2018. 01. 02.

Gaussian Processes and Bayesian Inference참고 문헌 79인용 수 8

한 줄 요약

이 논문은 불확실성 정량화를 가능하게 하면서 포인트 추정이 아닌 전체 확률 분포를 예측할 수 있도록 허용하는 확률론적 지도 학습을 위한 통합 프레임워크를 제안한다. 블랙박스 모델이 포인트 추정이 아닌 전체 확률 분포를 예측할 수 있도록 하며, 불확실성 정량화를 가능하게 한다. 새로운 이론적 통찰—예를 들어, 확률론적 편향-분산 분해와 엔트로피 기반 예측 형식—과 실용적인 도구인 확률론적 부스팅, 배깅, 그리고 다양한 모델(frequentist, Bayesian, 또는 하이브리드) 간의 비교를 위한 out-of-sample 손실 추정을 가능하게 하는 skpro 도구상자 내 신규 API를 제안한다.

ABSTRACT

Predictive modelling and supervised learning are central to modern data science. With predictions from an ever-expanding number of supervised black-box strategies - e.g., kernel methods, random forests, deep learning aka neural networks - being employed as a basis for decision making processes, it is crucial to understand the statistical uncertainty associated with these predictions. As a general means to approach the issue, we present an overarching framework for black-box prediction strategies that not only predict the target but also their own predictions' uncertainty. Moreover, the framework allows for fair assessment and comparison of disparate prediction strategies. For this, we formally consider strategies capable of predicting full distributions from feature variables, so-called probabilistic supervised learning strategies. Our work draws from prior work including Bayesian statistics, information theory, and modern supervised machine learning, and in a novel synthesis leads to (a) new theoretical insights such as a probabilistic bias-variance decomposition and an entropic formulation of prediction, as well as to (b) new algorithms and meta-algorithms, such as composite prediction strategies, probabilistic boosting and bagging, and a probabilistic predictive independence test. Our black-box formulation also leads (c) to a new modular interface view on probabilistic supervised learning and a modelling workflow API design, which we have implemented in the newly released skpro machine learning toolbox, extending the familiar modelling interface and meta-modelling functionality of sklearn. The skpro package provides interfaces for construction, composition, and tuning of probabilistic supervised learning strategies, together with orchestration features for validation and comparison of any such strategy - be it frequentist, Bayesian, or other.

연구 동기 및 목표

• 모든 블랙박스 예측 전략을 확률 분포 예측기로 간주할 수 있도록 하는 일반적인 프레임워크를 개발하는 것.
• 통일된 확률론적 손실 형식을 통해 다양한 예측 전략(frequentist, Bayesian, 또는 하이브리드) 간의 공정한 비교 및 평가를 가능하게 하는 것.
• 확률론적 모델을 구성, 조합, 캘리브레이션할 수 있도록 모듈러하고 API 기반 인터페이스를 제공함으로써 sklearn의 功能을 확장하는 것.
• 결정 지원을 위한 현대적 머신러닝 파이프라인에서 필수적인 불확실성 정량화의 필요성을 해결하는 것.

제안 방법

• 예측 전략이 입력 특징에 따라 결과의 전체 확률 분포를 출력할 수 있도록 하는 공식적 프레임워크를 제안한다.
• 예측 성능 평가를 위한 손실 함수형식으로 로그-손실 및 커널 이질성 손실을 포함한 새로운 확률론적 손실 함수형식을 도입한다.
• 이론적 통찰을 위해 새로운 확률론적 편향-분산 분해와 예측의 엔트로피 기반 형식을 개발한다.
• 포인트 추정이 아닌 예측 분포를 대상으로 하는 메타알고리즘—예를 들어, 확률론적 부스팅과 배깅—을 설계한다.
• 예측 분포 내 조건부 독립성을 평가하기 위한 새로운 확률론적 예측 독립성 검정을 제안한다.
• 프레임워크를 오픈소스인 skpro 도구상자에 구현하여, 모델 오케스트레이션, 검증, 비교를 위한 모듈러하고 sklearn 호환 인터페이스를 제공한다.

실험 결과

연구 질문

• RQ1 포인트 추정이 아닌 전체 확률 분포를 출력하는 블랙박스 예측 전략의 성능을 공식적으로 정의하고 평가할 수 있는 방법은 무엇인가?
• RQ2 기존의 편향-분산 분해 개념을 확률론적 예측 설정으로 확장할 때 도출되는 이론적 통찰은 무엇인가?
• RQ3 딥러닝, 랜덤 포레스트, 베이지안 모델 등의 다양한 예측 전략을 통일된 확률론적 프레임워크 내에서 공정하게 비교할 수 있는 방법은 무엇인가?
• RQ4 예측 분포의 형태 가정(예: 가우시안, 라플라스, 균일)이 모델 성능에 미치는 영향은 무엇인가?
• RQ5 확률론적 예측을 대상으로 하는 메타알고리즘(예: 부스팅, 배깅)을 설계하여 불확실성 캘리브레이션을 향상시킬 수 있는가?

주요 결과

• 제안된 프레임워크는 적절한 스코링 규칙과 손실 함수형식을 통해 어떤 확률론적 예측 전략이라도 공정하게 out-of-sample에서 비교할 수 있도록 한다.
• 예측 분포의 형태로 라플라스 또는 가우시안 분포를 가정할 경우 균일 또는 단순 기저선 대비 성능이 크게 향상되며, 실제 데이터셋에서는 라플라스 분포가 가우시안 분포를 상회하는 경우가 많다.
• 잔차 기반 복합 전략(예: ResidualEstimator)은 분산 예측이 적절히 캘리브레이션되지 않은 경우, 전체 가우시안 프로세스 회귀보다 일관되게 뛰어난 성능을 보인다.
• sklearn 내 전체 가우시안 프로세스 회귀 추정기(GaussianProcessRegressor)는 진정한 예측 후행 분포가 아니라 평균 예측기의 후행 분포에서 분산을 반환할 가능성이 높아 성능이 열악하다.
• skpro 도구상자는 sklearn의 인터페이스를 확장하여 확률론적 모델링을 지원하며, 내장된 검증 및 비교 워크플로우를 통해 모듈러한 구성, 조합, 캘리브레이션을 가능하게 한다.