[논문 리뷰] Relevant statistics for Bayesian model choice

Jean‐Michel Marin, Natesh S. Pillai외 2명|arXiv (Cornell University)|2011. 10. 21.

Markov Chains and Monte Carlo Methods참고 문헌 17인용 수 13

한 줄 요약

이 논문은 ABC 방법에서 일致한 베이지안 모형 선택을 보장하기 위해 요약 통계량이 만족해야 할 필수 및 필요조건을 규명한다. 베이즈 요약 통계량 T 기반의 베이즈 요약 통계량이 진정한 모형으로 수렴하는 것은, 두 모형 하에서 T의 점근적 평균이 다를 경우에만 가능하다는 것을 보여준다. 주요 기여는 일致한 모형 선택을 위한 요약 통계량을 검증하기 위한 공식적인 점근적 프레임워크를 제시하는 것이다.

ABSTRACT

The choice of the summary statistics used in Bayesian inference and in particular in ABC algorithms has bearings on the validation of the resulting inference. Those statistics are nonetheless customarily used in ABC algorithms without consistency checks. We derive necessary and sufficient conditions on summary statistics for the corresponding Bayes factor to be convergent, namely to asymptotically select the true model. Those conditions, which amount to the expectations of the summary statistics to asymptotically differ under both models, are quite natural and can be exploited in ABC settings to infer whether or not a choice of summary statistics is appropriate, via a Monte Carlo validation.

연구 동기 및 목표

• 요약 통계량 T 기반의 베이즈 요약 통계량이 모형 선택에서 일관되게 작동하는 조건을 규명하는 것.
• 잘못 선택된 요약 통계량으로 인해 ABC 알고리즘에서 일관되지 않은 모형 선택이 발생할 위험을 다루는 것.
• 요약 통계량의 표본 분포의 점근적 성질을 통해 요약 통계량을 검증하기 위한 이론적 프레임워크를 제공하는 것.
• ABC 기반의 모형 비교에서 충분통계량과 부차통계량의 역할을 공식화하는 것.
• 주어진 통계량 T가 일관된 추론을 이끌어내는지 평가하기 위한 몬테카를로 검증 방법을 제공하는 것.

제안 방법

• 두 모형 하에서 요약 통계량 $ \textbf{T}(\textbf{y}) $ 기반의 베이즈 요약 통계량 $ B^T_{12}(\textbf{y}) $ 의 일관성에 필요한 필수 조건을, 각 모형 하에서 $ \textbf{T} $ 의 점근적 평균에 기반해 유도한다.
• 점근적 이론을 사용하여 각 모형 하에서의 주변 가능도의 점진적 행동을 분석하고, 사후 오즈가 진정한 모형으로 수렴하는 경향을 집중적으로 고려한다.
• 농도 불등식과 측도 이론적 추론을 적용하여, 매개변수 공간의 서로 다른 영역에서 가능도 적분이 임계값을 초과할 확률을 근사한다.
• 매개변수 공간 $ \theta_i $ 를 진짜 평균 $ \boldsymbol{\theta}_0 $ 에서의 거리 기반으로 집합 $ \text{H}_j $ 로 분할함으로써 尾행동을 제어할 수 있도록 한다.
• 마르코프 부등식과 푸비니 정리를 사용하여 주변 가능도 적분에 대한 확률적 경계를 도출하고, 확률적 수렴을 보장한다.
• 진짜 모형과 거짓 모형 하에서 $ \textbf{T} $ 의 기대값이 점차 다름을 확인하는 몬테카를로 절차를 통해 일관성 조건을 검증한다.

실험 결과

연구 질문

• RQ1 표본 크기가 증가함에 따라 요약 통계량 $ \textbf{T} $ 기반의 베이즈 요약 통계량이 진정한 모형으로 수렴하는 조건은 무엇인가?
• RQ2 사전 검증에 의존하지 않고, 주어진 요약 통계량이 ABC 기반 모형 선택에 적합한지 평가하는 방법은 무엇인가?
• RQ3 충분성과 부차성은 ABC 환경에서 베이즈 요약 통계량의 일관성에 어떤 역할을 하는가?
• RQ4 완전 데이터 기반의 베이즈 요약 통계량과 ABC 근사 베이즈 요약 통계량 간의 차이를 정량화하고 통제할 수 있는가?
• RQ5 ABC 근사 하에서 주변 가능도의 점근적 성질은 무엇이며, 진짜 모형 증거와 어떻게 관련되는가?

주요 결과

• 베이즈 요약 통계량 $ B^T_{12}(\textbf{y}) $ 는 두 모형 하에서 요약 통계량 $ \textbf{T} $ 의 점근적 평균이 다를 경우에만 일관된다.
• 두 모형 하에서 $ \textbf{T} $ 의 점근적 평균이 동일한 경우(포함된 경우를 제외하고), 베이즈 요약 통계량은 0 또는 $ \notinfty $ 로 수렴할 수 있으며, 이는 일관되지 않은 모형 선택을 초래한다.
• 일관성 조건 하에서 $ \text{Pr}\big( \text{주변 가능도 적분} > C \times g_n(\textbf{T}^n) v_n^{-d_i} \big) \to 0 $ 이다. $ n \to \infty $ 일 때.
• 두 모형 하에서 점근적 평균이 동일한 통계량의 경우, 문헌에 제시된 반례를 통해 베이즈 요약 통계량이 점진적으로도 일관되지 않을 수 있음을 입증한다.
• 주어진 통계량 $ \textbf{T} $ 가 일관된 추론을 이끌어내는지 평가하기 위해, 진짜 모형과 거짓 모형 하에서 $ \textbf{T} $ 의 기대값이 점차 다름을 확인하는 몬테카를로 절차를 통해 일관성 조건을 검증할 수 있다.
• 일관성 조건은 주변 가능도의 전체 형태에 의존하지 않고, $ \textbf{T} $ 의 점진적 행동에만 의존하므로 모형 오류 사양에 대해 강건하다.