[논문 리뷰] Robust Inference and Model Criticism Using Bagged Posteriors

Jonathan H. Huggins, Jeffrey W. Miller|arXiv (Cornell University)|2019. 12. 15.

Statistical Methods and Inference참고 문헌 40인용 수 11

한 줄 요약

이 논문은 모형 오특사용에 대한 불확실성 정량화와 예측 정확도를 향상시키기 위해 부트스트랩 데이터셋에서의 사후분포를 평균화하는 방식으로 강건한 베이지안 추론 방법인 BayesBag을 제안한다. BayesBag에 대한 점근적 이론을 수립하고, 모형-데이터 불일치 지수를 제안하여 오특사용을 진단하며, 선형 회귀, 희소 로지스틱 회귀, 계층 모형 등 다양한 설정에서 표준 베이지안 추론과 부트스트랩보다 향상된 성능을 보여준다.

ABSTRACT

Standard Bayesian inference is known to be sensitive to model misspecification, leading to unreliable uncertainty quantification and poor predictive performance. However, finding generally applicable and computationally feasible methods for robust Bayesian inference under misspecification has proven to be a difficult challenge. An intriguing, easy-to-use, and widely applicable approach is to use bagging on the Bayesian posterior ("BayesBag"); that is, to use the average of posterior distributions conditioned on bootstrapped datasets. In this paper, we develop the asymptotic theory of BayesBag, propose a model-data mismatch index for model criticism using BayesBag, and empirically validate our theory and methodology on synthetic and real-world data in linear regression, sparse logistic regression, and a hierarchical mixed effects model. We find that in the presence of significant misspecification, BayesBag yields more reproducible inferences and has better predictive accuracy than the standard Bayesian posterior; on the other hand, when the model is correctly specified, BayesBag produces superior or equally good results. Overall, our results demonstrate that BayesBag combines the attractive modeling features of standard Bayesian inference with the distributional robustness properties of frequentist methods, providing benefits over both Bayes alone and the bootstrap alone.

연구 동기 및 목표

• 표준 베이지안 추론이 모형 오특사용에 민감하여 신뢰할 수 없는 불확실성 정량화와 열악한 예측 성능을 초래하는 문제를 해결하기 위해.
• 베이지안 방법의 모델링 유연성을 유지하면서도 빈도주의 접근법에서 유래한 분포 강건성을 통합하는 일반적이고 계산적으로 실현 가능한 강건한 베이지안 추론 방법을 개발하기 위해.
• 외부 검증 데이터가 필요 없이도 사후분포 분산의 차이를 기반으로 한 진단 도구를 제공하여 모형-데이터 불일치를 정량화하기 위해.
• 정규 조건 하에서 BayesBag의 점근적 이론을 수립하고, Bernstein–von Mises 정리와 빈도주의 성질을 연결함으로써 그 행동을 설명하기 위해.
• 다양한 통계 모형, 특히 오특사용된 설정에서도 예측 정확도, 재현 가능성, 강건성 측면에서 BayesBag의 우수성을 경험적으로 검증하기 위해.

제안 방법

• BayesBag은 부트스트랩된 데이터셋에서 얻은 표준 사후분포의 평균으로 백업 사후분포를 계산한다: $\pi^{*}(\theta|x) \approx \frac{1}{B}\sum_{b=1}^{B}\pi(\theta|x^{*}_{(b)})$, 여기서 $x^{*}_{(b)}$는 원본 데이터에서 원소를 복원 추출하여 만든 크기 $M$의 부트스트랩 샘플이다.
• 이 방법은 표준 베이지안 사후분포 계산 도구를 활용하므로 계층 모형, 지수족, MCMC 또는 변분 추론이 가능한 모형 등에 널리 적용 가능하다.
• 모형-데이터 불일치 지수는 백업 사후분포의 분산과 표준 사후분포의 분산 비율을, 정확한 모형 사양 하에서 기대되는 값과 비교하여 제안한다.
• 이 지수는 사후분포 분산의 점근적 행동에 기반하며 Bernstein–von Mises 정리에 따라 캘리브레이션되어, 분산 증가를 통해 오특사용을 탐지할 수 있다.
• 보수적인 추론을 위해 부트스트랩 데이터셋 크기 $M$은 원본 표본 크기 $N$으로 설정한다. 그러나 사후분포 정규성 가정이 타당할 경우 데이터 기반 선택인 $\hat{M}_{\infty,\text{opt}}$ 도 가능하다.
• 병렬 처리를 통해 부트스트랩 샘플 간 사후분포 계산을 가속화하고, $B$에 대한 몬테카를로 오차 한계를 통한 근사 수렴 여부를 검증한다.

실험 결과

연구 질문

• RQ1 모형 오특사용 상황에서 BayesBag은 표준 베이지안 방법에 비해 사후 추론을 어떻게 향상시키는가?
• RQ2 모형이 오특사용된 경우, 백업 사후분포는 표준 사후분포보다 더 뛰어난 예측 정확도와 신뢰성 있는 불확실성 캘리브레이션을 제공할 수 있는가?
• RQ3 정규 조건 하에서 BayesBag의 점근적 행동에 대한 이론적 근거는 무엇인가?
• RQ4 백업 사후분포는 어떻게 모형-데이터 불일치를 진단하는 데 사용될 수 있으며, 제안된 불일치 지수의 통계적 기반은 무엇인가?
• RQ5 BayesBag은 사전 분포 통합, 계층 모델링 등의 베이지안 추론의 이점을 유지하면서도 부트스트랩에서 유래한 강건성을 확보할 수 있는가?

주요 결과

• 중요한 모형 오특사용이 존재하는 상황에서, BayesBag은 표준 베이지안 사후분포 추론에 비해 더 재현 가능한 추론과 뛰어난 예측 정확도를 제공한다.
• 모형이 정확하게 사양된 경우, BayesBag은 표준 베이지안 추론과 비교해 성능이 더 우수하거나 동등하여, 정확한 사양 하에서도 성능 저하가 발생하지 않음을 보여준다.
• 제안된 모형-데이터 불일치 지수는 표준 사후분포 대비 사후분포 분산의 증가를 측정하여 오특사용을 효과적으로 탐지한다. 높은 값일수록 더 큰 불일치를 의미한다.
• 점근적 이론에 따르면, BayesBag은 오직 모형 불확실성과 표본 변동성을 고려한 분포로 수렴하며, 이는 오특사용 조건 하에서도 참값 중심의 분포로 수렴함을 의미한다.
• 병렬 처리를 통한 사후분포 계산 가속화로 계산 효율성이 향상되었으며, 일반적으로 $B=50$에서 $100$ 정도의 부트스트랩 수로 안정적인 근사가 가능하다.
• BayesBag은 베이지안 모델링의 강점(예: 사전 분포 통합, 계층적 구조)을 유지하면서도 빈도주의 방법의 강건성을 확보하여, 순수한 베이지안 접근법과 순수한 부트스트랩 접근법보다 핵심 측면에서 뛰어난 성능을 보였다.