[논문 리뷰] Testing hypotheses via a mixture estimation model

Kaniav Kamary, Kerrie K. Mengersen외 2명|arXiv (Cornell University)|2014. 12. 05.

Statistical Methods and Bayesian Inference참고 문헌 79인용 수 53

한 줄 요약

이 논문은 모델 비교를 혼합 추정 문제로 재정의함으로써 새로운 베이지안 가설 검정 프레임워크를 제안한다. 여기서 각 모델의 혼합 비율은 주요 관심 파라미터가 된다. 혼합 비율에 대한 기준 베타 prior를 사용함으로써, 비정규 prior를 허용하고 표본 크기가 증가함에 따라 일致성을 확보하며, 베이즈 요인이나 사후 확률에 의존하지 않고 일관된 사후 분포를 제공한다.

ABSTRACT

We consider a novel paradigm for Bayesian testing of hypotheses and Bayesian model comparison. Our alternative to the traditional construction of posterior probabilities that a given hypothesis is true or that the data originates from a specific model is to consider the models under comparison as components of a mixture model. We therefore replace the original testing problem with an estimation one that focus on the probability weight of a given model within a mixture model. We analyze the sensitivity on the resulting posterior distribution on the weights of various prior modeling on the weights. We stress that a major appeal in using this novel perspective is that generic improper priors are acceptable, while not putting convergence in jeopardy. Among other features, this allows for a resolution of the Lindley-Jeffreys paradox. When using a reference Beta B(a,a) prior on the mixture weights, we note that the sensitivity of the posterior estimations of the weights to the choice of a vanishes with the sample size increasing and avocate the default choice a=0.5, derived from Rousseau and Mengersen (2011). Another feature of this easily implemented alternative to the classical Bayesian solution is that the speeds of convergence of the posterior mean of the weight and of the corresponding posterior probability are quite similar.

연구 동기 및 목표

• 비정보적 베이지안 가설 검정의 오랜 도전 과제인 사전 분포 선택에 대한 민감성과 비정규 prior의 금지 문제를 해결하기 위해.
• 베이즈 요인이나 사후 확률과 같은 전통적 방법의 한계를 극복하기 위해, 이는 사전 모델링에 민감하고 직관적인 해석이 어려운 경향이 있다.
• 가장자리 검정의 전통적 방법에 비해 일관성 있고 계산적으로 효율적인 대안을 제공하기 위해, 가설 검정을 혼합 성분 비율 추정 문제로 재정의한다.
• 혼합 비율 파라미터의 사후 분포가 모델 선택과 의사결정을 위한 자연스럽고 해석 가능한 기반을 제공함을 보여주기 위해.
• 특히 큰 표본 크기에서의 이론적 및 실증적 일치성을 확립하고, 혼합 비율에 대한 기본 사전 분포로 𝑎₀ = 0.5를 선택하는 데에 이르는 근거를 제시하기 위해.

제안 방법

• 데이터를 경쟁하는 모델들의 혼합으로 모델링하고, 혼합 비율 파라미터 α를 포함하는 혼합 모델 추정 문제로 베이지안 가설 검정을 재정의한다.
• 혼합 비율 α를 주요 관심 파라미터로 간주하고, 베이즈 요인이나 사후 모델 확률 대신 α의 사후 분포를 추론의 기초로 사용한다.
• α에 대한 기준 베타(𝑎₀, 𝑎₀) 사전 분포를 사용하며, 이는 비정규 prior를 허용하고 표본 크기가 증가함에 따라 𝑎₀의 선택에 대해 강건하다.
• 메트로폴리스-하스팅스와 같은 MCMC 방법을 통해 사후 계산을 구현함으로써, α 및 모델 비율에 대한 전체 사후 추론이 가능해진다.
• 후행 분포의 분위수 또는 尾部 영역을 사용하여 결정(예: 기각, 수용, 결정 불가)을 校정하며, 베이지안 p-value와 유사하게 작동한다.
• 공통된 매개변수화 방법을 사용하여 공통 매개변수에 대한 기준 사전 분포를 가능하게 하여 객관적 추론을 강화한다.

실험 결과

연구 질문

• RQ1 베이지안 가설 검정을 혼합 추정 문제로 재정의함으로써 해석 가능성과 일관성을 향상시킬 수 있는가?
• RQ2 혼합 비율 α에 대한 기준 베타 사전 분포를 사용하면 비정규 prior를 사용하면서도 일관성을 유지할 수 있는가?
• RQ3 표본 크기가 증가함에 따라 α의 사후 분포는 어떻게 행동하는가? 올바른 모델 하에서 0 또는 1 근처로 집중되는가?
• RQ4 α의 사후 분포는 Beta(𝑎₀, 𝑎₀) 사전 분포의 𝑎₀ 선택에 얼마나 민감한가? 표본 크기가 증가함에 따라 이 민감도는 사라지는가?
• RQ5 이 방법은 모델 비교에서 베이즈 요인과 사후 모델 확률에 대한 일관된 대안을 제공할 수 있는가?

주요 결과

• 데이터가 첫 번째 모델에서 생성되면 혼합 비율 α의 사후 분포가 1에 가까이 집중되고, 두 번째 모델에서 생성되면 0에 가까이 집중되어 일관성을 입증한다.
• 큰 표본 크기에서는 Beta(𝑎₀, 𝑎₀) 사전 분포의 𝑎₀ 선택에 대한 α의 사후 분포 민감도가 사라져 강건성을 보장한다.
• 로지스틱 모델에서 시뮬레이션된 데이터에서는 α의 사후 중앙값이 매우 1에 가까운 편(예: 0.998)이고, 프로빗 모델에서 시뮬레이션된 데이터에서는 0에 가까운 편(예: 0.003)이 되며, 이는 작은 𝑎₀ 값에서도 성립한다.
• 혼합 비율에 대한 적절한 사전 분포를 활용함으로써, 기존에 객관적 베이지안 검정에서 오랫동안 지속된 모델 매개변수에 대한 비정규 prior 사용의 제한을 극복한다.
• α의 사후 평균은 사후 확률과 유사한 속도로 수렴하여 계산 및 추론 성능에서 동등함을 시사한다.
• Beta(𝑎₀, 𝑎₀) 사전 분포에 대해 𝑎₀ = 0.5를 기본 선택으로 제안하며, 이는 이론적 일致성과 실증 결과에 의해 뒷받침된다.