[논문 리뷰] Robust and reproducible model selection using bagged posteriors

Jonathan H. Huggins, Jeffrey W. Miller|arXiv (Cornell University)|2020. 07. 24.

Bayesian Methods and Mixture Models참고 문헌 20인용 수 4

한 줄 요약

이 논문은 베이지안 모형 선택을 개선하기 위해 부트스트래핑된 데이터셋들 위에서 사후 모형 확률을 평균화하는 방법인 BayesBag을 제안한다. 모형이 잘못 지정된 경우, BayesBag은 모형 선택의 재현성과 정확성을 향상시키지만, 모형이 올바르게 지정된 경우에는 약간 더 보수적인 성향을 유지한다.

ABSTRACT

Bayesian model selection is premised on the assumption that the data are
 generated from one of the postulated models, however, in many applications, all of
 these models are incorrect. When two or more models provide a nearly equally good
 t to the data, Bayesian model selection can be highly unstable, potentially leading
 to self-contradictory ndings. In this paper, we explore using bagging on the posterior
 distribution (\\BayesBag") when performing model selection { that is, averaging the
 posterior model probabilities over many bootstrapped datasets. We provide theoreti-
 cal results characterizing the asymptotic behavior of the standard posterior and the
 BayesBag posterior under misspeci cation, in the model selection setting. We empir-
 ically assess the BayesBag approach on synthetic and real-world data in (i) feature
 selection for linear regression and (ii) phylogenetic tree reconstruction. Our theory
 and experiments show that in the presence of misspeci cation, BayesBag provides
 (a) greater reproducibility and (b) greater accuracy in selecting the correct model,
 compared to the standard Bayesian posterior; on the other hand, under correct speci-
 cation, BayesBag is slightly more conservative than the standard posterior. Overall,
 our results demonstrate that BayesBag provides an easy-to-use and widely applicable
 approach that improves upon standard Bayesian model selection by making it more
 stable and reproducible.

연구 동기 및 목표

• 여러 모형이 데이터를 거의 동일하게 설명할 때 표준 베이지안 모형 선택의 불안정성을 해결하기 위해.
• 모형 불일치 상황에서 모형 선택의 재현성을 향상시키기 위해.
• 정확도를 희생시키지 않고 안정성을 향상시키는 실용적이고 광범위하게 적용 가능한 방법을 개발하기 위해.
• 모형 불일치 하에서 표준 및 백싱된 사후 확률의 渐近적 행동을 이론적으로 규명하기 위해.
• 선형 회귀 및 계통수 계측에서의 특징 선택과 계통수 나무 재구성에 대해 BayesBag을 실증적으로 검증하기 위해.

제안 방법

• 원본 데이터로부터 여러 부트스트랩 데이터셋을 생성하여 사후 분포에 배깅을 적용한다.
• 각 부트스트랩 데이터셋에 대해 사후 모형 확률을 계산한다.
• 모든 부트스트랩 데이터셋에 걸쳐 사후 모형 확률을 평균화하여 BayesBag 사후 확률을 구성한다.
• 이론적 분석을 통해 모형 불일치 하에서 표준 및 BayesBag 사후 확률의 渐近적 행동을 도출한다.
• 선형 회귀 및 계통수 선택에서의 합성 및 실세계 데이터에 대해 BayesBag을 실증적으로 평가한다.
• 최종 모형 선택 기준으로 평균화된 사후 확률을 사용한다.

실험 결과

연구 질문

• RQ1 모형 불일치 상황에서 표준 베이지안 사후 확률은 모형 선택에 어떻게 행동하는가?
• RQ2 사후 확률에 배깅을 적용하면 모형 선택 결과의 재현성이 향상되는가?
• RQ3 모든 후보 모형이 불일치된 경우, BayesBag은 정확한 모형 선택에 도움이 되는가?
• RQ4 안정성과 성능 측면에서 BayesBag은 표준 베이지안 모형 선택보다 어떻게 다를까?
• RQ5 모형 불일치 하에서 BayesBag 사후 확률의 이론적 渐近적 행동은 어떠한가?

주요 결과

• 모형이 불일치된 경우, BayesBag은 모형 선택 결과의 재현성을 크게 향상시킨다.
• 표준 베이지안 사후 확률에 비해 모형 불일치 상황에서 정확한 모형 선택을 향상시킨다.
• 모형이 올바르게 지정된 경우, BayesBag은 표준 사후 확률보다 약간 더 보수적인 성향을 보인다.
• 이론적 분석을 통해 BayesBag이 모형 불일치 상황에서 사후 모형 확률을 안정화시킴을 확인하였다.
• 특징 선택 및 계통수 나무 재구성에 대한 실증 결과는 안정성과 정확성 향상이 일관되게 관찰됨을 보여준다.
• BayesBag은 실용적이고 쉽게 구현할 수 있는 표준 베이지안 모형 선택의 개선 방법을 제공한다.