[논문 리뷰] Using bagged posteriors for robust inference and model criticism

Jonathan H. Huggins, Jeffrey W. Miller|arXiv (Cornell University)|2019. 12. 15.

Bayesian Methods and Mixture Models참고 문헌 65인용 수 10

한 줄 요약

이 논문은 모형 오특정 상황에서 신뢰성 향상을 위해 부트스트랩 데이터셋에서의 사후분포를 평균화하는 BayesBag이라는 강건한 베이지안 추론 방법을 제안한다. BayesBag에 대한 점근적 이론을 수립하고, 모형-데이터 불일치 지수를 도입하여 비정상 모형 상황에서의 모형 비판을 가능하게 하였으며, 다양한 모형을 통해 BayesBag이 예측 정확도, 재현 가능성, 올바른 모형 선택을 향상시킴을 입증하였다. 특히 모형 오특정 상황에서 두드러진 성능 향상을 보였고, 정확한 모형 사양 상황에서도 강력한 성능 유지를 보였다.

ABSTRACT

Standard Bayesian inference is known to be sensitive to model misspecification, leading to unreliable uncertainty quantification and poor predictive performance. However, finding generally applicable and computationally feasible methods for robust Bayesian inference under misspecification has proven to be a difficult challenge. An intriguing, easy-to-use, and widely applicable approach is to use bagging on the Bayesian posterior (BayesBag); that is, to use the average of posterior distributions conditioned on bootstrapped datasets. In this paper, we comprehensively develop the asymptotic theory of BayesBag, propose a model--data mismatch index for model criticism using BayesBag,and empirically validate our theory and methodology on synthetic and real-world data in linear regression (both feature selection and parameter inference), sparse logistic regression, a hierarchical mixed effects model, and phylogenetic tree reconstruction. We find that in the presence of significant misspecification, BayesBag yields more reproducible inferences, has better predictive accuracy, and selects correct models more often than the standard Bayesian posterior; meanwhile, when the model is correctly specified, BayesBag produces superior or equally good results for parameter inference and prediction, while being slightly more conservative for model selection. Overall, our results demonstrate that BayesBag combines the attractive modeling features of standard Bayesian inference with the distributional robustness properties of frequentist methods, providing benefits over both Bayes alone and the bootstrap alone.

연구 동기 및 목표

• 표준 베이지안 추론이 모형 오특정에 매우 민감한 점을 다스리며, 이는 불확실성 정량화와 예측 성능을 약화시킨다.
• 베이지안 방법의 모델링 유연성을 유지하면서도 분포의 강건성을 향상시키는 일반적이고 계산적으로 실현 가능한 강건한 베이지안 추론 방법을 개발한다.
• BayesBag 기반의 모형-데이터 불일치 지수를 제안하여 체계적인 모형 비판과 오특정 진단을 가능하게 한다.
• 선형 회귀, 희소 로지스틱 회귀, 계층 모형, 계통수 재구성 등 다양한 통계 모형을 통해 BayesBag의 이론적·실용적 이점을 검증한다.
• 모형 오특정 상황에서 표준 베이지안 추론과 부트스트랩만으로도 성능이 열 劣한 상황에서 BayesBag이 강건성, 재현 가능성, 예측 정확도 측면에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 데이터를 다시 샘플링하여 부트스트랩 샘플을 반복 생성하고, 각 부트스트랩 샘플에 대해 사후분포를 계산함으로써 사후분포에 백킹(배깅)을 적용한다.
• 개별 부트스트랩 사후분포의 평균으로 BayesBag 사후분포를 구성함으로써 데이터 변동성에 대한 스무딩을 이루고, 모형 오특정에 대한 민감도를 감소시킨다.
• 정규 조건 하에서 BayesBag에 대한 점근적 이론을 개발하여, 모형 오특정 상황에서도 일致성과 강건성 특성을 입증한다.
• 부트스트랩 사후분포의 변동성에 기반한 모형-데이터 불일치 지수를 도입하여, 가정된 모형과 관측된 데이터 간의 불일치 정도를 정량화한다.
• 이 불일치 지수를 활용해 모형 오특정을 탐지하고 진단함으로써, 완전히 정확한 모형이 필요 없이도 모형 비판을 가능하게 한다.
• 합성 및 실제 데이터를 사용하여 선형 회귀, 특징 선택, 매개변수 추정, 계층 모델링 등 다양한 통계 모형에서 방법을 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 모형 오특정 상황에서 베이지안 사후분포를 배깅하는 방식(BayesBag)이 표준 베이지안 방법보다 더 강건한 추론을 제공할 수 있는가?
• RQ2 가정된 모형이 잘못되었을 경우, BayesBag은 예측 정확도와 매개변수 추정 측면에서 어떻게 성능을 발휘하는가?
• RQ3 부트스트랩 사후분포의 변동성을 활용해 모형-데이터 불일치를 탐지할 수 있는 신뢰할 수 있는 지수를 구성할 수 있는가?
• RQ4 모형이 정확하게 사양된 경우, BayesBag은 성능이 유지되는가, 아니면 효율성에 손해를 입는가?
• RQ5 모형 오특정 상황에서 표준 베이지안 추론에 비해 BayesBag은 모형 선택과 재현 가능성 측면에서 어떤 방식으로 향상되는가?

주요 결과

• 중요한 모형 오특정 상황에서 BayesBag은 표준 베이지안 사후분포보다 더 재현 가능한 추론을 제공하여 데이터 변동에 대한 민감도를 감소시킨다.
• 모형 오특정 상황에서 BayesBag은 표준 베이지안 추론보다 예측 정확도가 향상되며, 특히 선형 회귀와 희소 로지스틱 회귀에서 두드러진다.
• 모형 선택 과제에서 모형 오특정 상황에서 BayesBag은 표준 베이지안 방법보다 더 자주 올바른 모형을 선택한다.
• 모형이 정확하게 사양된 경우, BayesBag은 표준 베이지안 추론과 비교해 유사하거나 우수한 매개변수 추정치와 예측 성능을 제공하며, 약간 더 보수적인 모형 선택을 한다.
• 제안된 BayesBag 기반의 모형-데이터 불일치 지수는 오특정을 효과적으로 탐지하여 실용적인 모형 비판 도구로 기능한다.
• 선형 회귀, 희소 로지스틱 회귀, 계층 혼합 효과 모형, 계통수 재구성 등 다양한 모형에 대한 실증 결과는 BayesBag의 강건성과 일반성(일반성)을 확인한다.