[논문 리뷰] Accurate Uncertainty Estimation and Decomposition in Ensemble Learning

Jeremiah Zhe Liu, John Paisley외 2명|arXiv (Cornell University)|2019. 11. 11.

Air Quality Monitoring and Forecasting인용 수 34

한 줄 요약

베이지안 비모수적 앙상블(BNE)을 제안하여 불확실성의 현상적, 매개변수적 및 구조적 보정에 대해 앙상블을 확장하고, 이론적 보장을 제공하며 대기오염 예측에 적용한다.

ABSTRACT

Ensemble learning is a standard approach to building machine learning systems that capture complex phenomena in real-world data. An important aspect of these systems is the complete and valid quantification of model uncertainty. We introduce a Bayesian nonparametric ensemble (BNE) approach that augments an existing ensemble model to account for different sources of model uncertainty. BNE augments a model's prediction and distribution functions using Bayesian nonparametric machinery. It has a theoretical guarantee in that it robustly estimates the uncertainty patterns in the data distribution, and can decompose its overall predictive uncertainty into distinct components that are due to different sources of noise and error. We show that our method achieves accurate uncertainty estimates under complex observational noise, and illustrate its real-world utility in terms of uncertainty decomposition and model bias detection for an ensemble in predict air pollution exposures in Eastern Massachusetts, USA.

연구 동기 및 목표

• 앙상블 학습에서 완전한 불확실성 정량화의 필요성을 제시한다.
• 앙상블에서 예측 및 분포 모형의 미스스펙피케이션을 완화하기 위한 베이지안 비모수적 보강법을 개발한다.
• 현상적 불확실성 추정의 일관성과 불확실성 분해에 대한 이론적 보장을 제공한다.
• 합성 비선형 과제와 실제 세계의 대기오염 예측 앙상블에 대해 방법을 시연한다.
• BNE가 지역 간 바이어스 탐지 및 불확실성 해석을 가능하게 하는 방법을 보여준다.

제안 방법

• 기본 앙상블 Y = sum_k f_k(x) w_k + epsilon를 구조적 바이어스를 포착하기 위해 가우시안 프로세스(Gaussian Process)로 모델링된 유연한 잔차 delta(x)로 보강한다.
• G라는 비모수(calibration) 보정 함수를 도입하여 분포 가정을 보정한다. 이 함수는 제약된 가우시안 프로세스로 모델링되어 Phi_epsilon(y|x, mu)를 F(y|x, mu)로 매핑한다.
• 완전한 BNE를 F*(y|x) = G[Phi_epsilon(y|x, mu)], 단 mu = sum_k f_k(x) w_k + delta(x)로 형성한다.
• delta와 G에 이동불변 커널(예: Matérn 3/2)을 사용하여 불확실성이 훈련 데이터와의 거리 및 분포 유연성을 반영하도록 한다.
• 커널 행렬의 사전 직교화가 있는 해밀토니안 몬테카를로(HMC)로 후방 추론을 수행한다; 계산 복잡도 및 확장 가능한 스킴에 대해 논의한다.
• 예측 바이어스를 정량화하고 분해하기 위한 D_delta 및 D_G라는 사후 기반 바이어스 보정 항목을 제공한다.

실험 결과

연구 질문

• RQ1 얼마나 앙상블을 보강하여 현상적, 매개변수적, 구조적 불확실성을 정확하게 정량화할 수 있는가?
• RQ2 비모수 보정 함수가 Gaussian 가정 너머의 복잡한 분포를 모델링하는 데 앙상블의 성능을 개선할 수 있는가?
• RQ3 잔차 보정 및 보정 함수가 예측 바이어스 탐지 및 불확실성 분해에 어떻게 기여하는가?
• RQ4 제안된 베이지안 비모수적 구성요소들이 예측 구간의 보정과 현상적 불확실성 추정의 일관성을 보장하는가?
• RQ5 BNE가 합성 비선형 설정과 실제 대기오염 예측 작업에서 어떤 성능을 보이는가?

주요 결과

• BNE는 보정 함수 G와 잔차 프로세스 delta를 통해 데이터 분포의 유연한 모델링을 제공하여 예측 및 불확실성 특성화를 향상시킨다.
• CGP(제약된 가우시안 프로세스) 형식을 통해 광범위한 조건 하에서 현상적 불확실성의 일관된 추정치를 산출한다.
• BNE는 인식론적 불확실성을 매개변수적 및 구조적 구성요소(delta 및 G)로 분해하고, 더 나아가 delta 대 G의 구조적 구성요소로 분해하여 바이어스 진단을 가능하게 한다.
• 실험은 복잡한 관찰 노이즈 하에서 스태킹, BAE, 비모수 KDE/혼합물과 같은 기준보다 보정 및 예측 정확도가 향상됨을 보여준다.
• 매사추세츠 동부의 세 모델 PM2.5 노출 앙상블에 대한 응용은 실용적인 바이어스 탐지 및 공간적 불확실성 분해를 시연한다.