[논문 리뷰] Bayesian model averaging via mixture model estimation

Merlin Keller, Kaniav Kamary|arXiv (Cornell University)|2017. 11. 27.

Statistical Methods and Bayesian Inference참고 문헌 11인용 수 3

한 줄 요약

이 논문은 혼합 모형 추정 기반 베이지안 모형 평균화(BMA) 방법을 제안하며, 단일 포괄 혼합 모형에서 샘플링을 통해 공유 파라미터에 대한 비정규 사전분포를 허용한다. 이 방법은 MCMC를 사용해 BMA 사후 표본을 생성하며, 몬테카를로 및 중요도 샘플링을 통해 모형 사후 확률과 모형별 사후 기대값을 효율적으로 추정한다. 자가 정제(self-pruning) 성질 덕분에 분산이 낮은 추정이 보장된다.

ABSTRACT

A new approach for Bayesian model averaging (BMA) and selection is proposed, based on the mixture model approach for hypothesis testing in Kaniav et al., 2014. Inheriting from the good properties of this approach, it extends BMA to cases where improper priors are chosen for parameters that are common to all candidate models. From an algorithmic point of view, our approach consists in sampling from the posterior distribution of the single-datum mixture of all candidate models, weighted by their prior probabilities. We show that this posterior distribution is equal to the 'Bayesian-model averaged' posterior distribution over all candidate models, weighted by their posterior probability. From this BMA posterior sample, a simple Monte-Carlo estimate of each model's posterior probability is derived, as well as importance sampling estimates for expectations under each model's posterior distribution.

연구 동기 및 목표

• 공유 파라미터에 대해 비정규 사전분포를 사용할 때의 베이지안 모형 평균화 문제를 해결하기 위해.
• 모형 선택 및 평균화에서 베이즈 요인 계산의 일반적이고 계산적으로 효율적인 대안을 제공하기 위해.
• 포괄 혼합 모형에서 단일 MCMC 실행을 통해 직접적으로 베이지안 모형 평균 사후분포에서 샘플링을 가능하게 하기 위해.
• BMA 사후 표본과 모형 지표를 기반으로 한 중요도 샘플링을 통해 모형별 사후 기대값의 신뢰성 있는 몬테카를로 추정을 도출하기 위해.
• 고사후 확률 모형에 대해 효율성을 향상시키는 자가 정제 성질을 활용해 추정의 안정성을 확보하기 위해.

제안 방법

• 모든 후보 모형의 단일 데이터점 혼합 모형을 고려하여, 각 모형의 사전 확률로 가중치를 부여함으로써 베이지안 모형 평균화를 혼합 모델링의 특수한 경우로 재구성한다.
• 모형 지표와 모든 모형별 전용 파라미터를 포함한 혼합 모형의 결합 사후분포에서 MCMC를 사용해 샘플링한다.
• 해당 모형에 할당된 샘플 비율을 기반으로 각 모형의 사후 확률에 대한 몬테카를로 추정을 도출한다.
• BMA 사후 표본과 모형 지표를 기반으로 중요도 샘플링을 사용해 모형별 사후 분포를 재구성한다.
• 자기 정제 성질을 활용해 추정의 안정성을 확보하며, 각 모형의 사후 확률 추정치에 비례하여 중요도 가중치의 유효 표본 크기가 증가하도록 한다.
• 결과 혼합 사후분포가 정규이면 공유 파라미터에 대한 비정규 사전분포를 허용하며, 전통적 BMA의 핵심 제약을 극복한다.

실험 결과

연구 질문

• RQ1 공유 파라미터에 대한 비정규 사전분포를 허용하기 위해, 베이지안 모형 평균화를 혼합 모형 추정 문제로 재구성할 수 있는가?
• RQ2 포괄 혼합 모형에서 단일 MCMC 실행을 통해 모형 사후 확률과 모형별 사후 기대값을 어떻게 효율적으로 추정할 수 있는가?
• RQ3 BMA 사후 표본에서 유도된 몬테카를로 추정과 중요도 샘플링 추정의 유한 표본 성질은 무엇인가?
• RQ4 제안된 방법은 특히 고사후 확률 모형에 대해 안정성과 효율성을 보여주는가?
• RQ5 후보 모형의 수나 파라미터 차원이 클 경우, 이 방법의 실용적 제약은 무엇인가?

주요 결과

• 혼합 모형의 사후분포는 수학적으로 베이지안 모형 평균 사후분포와 동일하므로, 혼합 샘플링을 통해 정확한 BMA 추론이 가능하다.
• 모형 사후 확률에 대한 몬테카를로 추정은 안정적이며 낮은 분산을 보이며, 유효 표본 크기(ESS)는 모형의 사후 확률에 비례한다.
• 모형별 사후 기대값에 대한 중요도 샘플링 추정은 신뢰할 수 있으며, 시뮬레이션 연구에서 좁은 신뢰구간이 관찰된다.
• 모의 실험에서 진짜 모형을 성공적으로 복원하였으며, BMA 사후 추정치는 진짜 모형의 추정치와 거의 동일한 정확도를 보였다.
• 공유 파라미터에 대해 비정규 사전분포를 사용할 수 있다는 점에서 기존 BMA 방법에 비해 중대한 이점이다.
• 자기 정제 성질 덕분에 고사후 확률 모형은 잘 추정되며, 이에 해당하는 중요도 샘플링 가중치의 유효 표본 크기가 높게 유지된다.