[논문 리뷰] Bayes factor consistency

Siddhartha Chib, Todd A. Kuffner|arXiv (Cornell University)|2016. 07. 01.

Bayesian Methods and Mixture Models참고 문헌 114인용 수 24

한 줄 요약

이 논문은 로그 베이즈 요인을 세 가지 성분으로 분해함으로써 베이즈 요인 일致성 분석을 위한 통합 프레임워크를 제공한다: 로그우도비, 로그선량밀도비, 그리고 음의 로그사후밀도비. 주요 기여는 각 모형 하에서 사후 수축 속도가 베이즈 요인 일치성에 결정적인 영향을 미친다는 것을 보여주는 것으로, 사후비가 모형 선택 일치성을 보장하는 페널티 항으로 작용한다. 이는 적절한 사전 지지 조건 하에서 성립한다.

ABSTRACT

Good large sample performance is typically a minimum requirement of any model selection criterion. This article focuses on the consistency property of the Bayes factor, a commonly used model comparison tool, which has experienced a recent surge of attention in the literature. We thoroughly review existing results. As there exists such a wide variety of settings to be considered, e.g. parametric vs. nonparametric, nested vs. non-nested, etc., we adopt the view that a unified framework has didactic value. Using the basic marginal likelihood identity of Chib (1995), we study Bayes factor asymptotics by decomposing the natural logarithm of the ratio of marginal likelihoods into three components. These are, respectively, log ratios of likelihoods, prior densities, and posterior densities. This yields an interpretation of the log ratio of posteriors as a penalty term, and emphasizes that to understand Bayes factor consistency, the prior support conditions driving posterior consistency in each respective model under comparison should be contrasted in terms of the rates of posterior contraction they imply.

연구 동기 및 목표

• 다양한 통계 모형에서의 베이즈 요인 일치성을 이해하기 위한 통합 이론적 프레임워크를 제공하는 것.
• 모형 선택 일치성의 핵심 요소로 작용하는 사전 지지 조건과 사후 수축 속도의 역할을 명확히 하는 것.
• 로그 베이즈 요인을 분석에 유용한 성분들로 분해하여 점근적 분석을 가능하게 하는 것.
• 사후밀도비가 모형 비교에서 페널티 항으로 작용하는 방식을 부각하는 것.

제안 방법

• Chib(1995)의 주변우도 항등식을 활용하여 주변우도를 우도, 사전, 사후 밀도의 비로 표현하는 것.
• 로그 베이즈 요인을 세 가지 덧셈 성분으로 분해: 로그우도비, 로그선량밀도비, 음의 로그사후밀도비.
• 모형의 모수 또는 기능의 일致 추정량을 사용하여 각 성분의 대표표본 행동을 분석하는 것.
• 사후밀도비를 모형 복잡도를 페널티하는 항으로 프레임워크화하는 것.
• 기존의 사후 일치성 및 수축 속도 결과를 활용하여 베이즈 요인의 점근적 행동을 평가하는 것.
• 모수적, 비모수적, 반모수적 모형으로 프레임워크를 확장하여 회귀 및 밀도 추정 설정을 포함하는 것.

실험 결과

연구 질문

• RQ1 로그 베이즈 요인을 우도, 사전, 사후 성분으로 분해함으로써 그 점근적 행동이 어떻게 명확해지는가?
• RQ2 사후 수축 속도는 베이즈 요인 일치성 결정에 어떤 역할을 하는가?
• RQ3 사전 지지 조건은 다양한 모형 클래스 간에 베이즈 요인 일치성에 어떻게 영향을 미치는가?
• RQ4 사후밀도비는 모형 비교에서 어떤 방식으로 페널티 항으로 작용하는가?
• RQ5 이 분해 프레임워크는 비포함, 비모수적, 반모수적 모형 비교로 일반화될 수 있는가?

주요 결과

• 로그 베이즈 요인은 로그우도비, 로그선량밀도비, 음의 로그사후밀도비의 합으로 분해된다.
• 사후밀도비는 모형 복잡도가 증가할수록 증가하는 페널티 항으로 작용하여, 데이터가 단순한 모형을 지지할 경우 이를 선호한다.
• 베이즈 요인 일치성은 단지 일치하는 사후분포의 존재가 아니라, 각 모형 하에서의 사후 수축 속도의 상대적 비율에 의해 결정된다.
• 진짜 모형이 대안 모형보다 더 빠르게 사후 수축할 경우, 조건부 독립 또는 반모수적 설정에서도 일치성이 유지된다.
• 주변우도가 계산이 어려운 경우에도 이 프레임워크는 세 성분의 점근적 행동에 초점을 맞추므로 베이즈 요인이 진짜 모형을 일관되게 선택할 수 있음을 설명한다.
• 이 접근법은 고차원 및 비모수적 설정에서 베이즈 요인의 경험적 성공에 대한 이론적 근거를 제공한다.