[논문 리뷰] Bayes and empirical Bayes: do they merge?

Sonia Petrone, Judith Rousseau외 1명|arXiv (Cornell University)|2012. 04. 06.

Bayesian Methods and Mixture Models참고 문헌 21인용 수 5

한 줄 요약

이 논문은 경험 베이즈(EB) 사후분포가 점점 더 정규 베이즈 사후분포와 수렴하는지 엄밀히 조사하며, 베이즈의 약한 융합(약한 수렴)과 빈도주의의 강한 융합(총변동 거리) 기준 하에서 수렴 조건을 설정한다. EB 사후분포가 일관성 있는 것은 오직 그것이 약하게 융합할 때에만 성립하며, 일관성에 대한 충분조건을 제시한다. 이는 EB 절차가 초모수의 최대우도 추정량이 탈선할 경우, 특히 딜리클레 과정 혼합모형이나 g-우도에서 융합에 실패할 수 있음을 드러낸다.

ABSTRACT

Bayesian inference is attractive for its coherence and good frequentist properties. However, it is a common experience that eliciting a honest prior may be difficult and, in practice, people often take an {\em empirical Bayes} approach, plugging empirical estimates of the prior hyperparameters into the posterior distribution. Even if not rigorously justified, the underlying idea is that, when the sample size is large, empirical Bayes leads to "similar" inferential answers. Yet, precise mathematical results seem to be missing. In this work, we give a more rigorous justification in terms of merging of Bayes and empirical Bayes posterior distributions. We consider two notions of merging: Bayesian weak merging and frequentist merging in total variation. Since weak merging is related to consistency, we provide sufficient conditions for consistency of empirical Bayes posteriors. Also, we show that, under regularity conditions, the empirical Bayes procedure asymptotically selects the value of the hyperparameter for which the prior mostly favors the "truth". Examples include empirical Bayes density estimation with Dirichlet process mixtures.

연구 동기 및 목표

• 경험 베이즈(EB) 사후분포가 점점 더 정규 베이즈 사후분포와 수렴하는 조건을 규명하는 것.
• EB 절차가 일관성과 정규 베이즈 사후분포로의 수렴을 분석함으로써 통계적으로 타당한지 평가하는 것.
• 초모수의 최대우도 추정량이 탈선(예: 0 또는 1)할 경우 EB 절차가 융합에 실패하는 상황을 특정하는 것.
• 특히 비정규 또는 고차원 설정에서 추정된 초모수를 삽입하는 일반적인 경험적 관행에 대한 이론적 근거를 제공하는 것.
• EB 사후분포가 일관성과 Bernstein-von Mises 행동을 포함한 양호한 빈도주의 성질을 상속받는 조건을 명확히 하는 것.

제안 방법

• 두 가지 융합 개념을 사용한다: 베이즈의 약한 융합(사후분포의 약한 수렴)과 빈도주의의 강한 융합(진실된 데이터 생성 분포 하에서 거의 확실히 총변동 거리 수렴).
• 모든 θ₀가 매개수 공간에 속할 때, EB 사후분포의 약한 융합이 진실된 매개수 값 θ₀에서의 약한 일관성과 동치임을 증명한다.
• EB의 주변우도 m(X₁:n|λ̂ₙ)와 진실된 우도 pθ₀ⁿ(X₁:n)를 비교하기 위해 라플라스 근사법을 적용한다.
• 추정된 초모수와 진실된 초모수 하에서의 사전 밀도 비율을 분석함으로써 EB 사후분포와 정규 베이즈 사후분포 간의 L₁-거리에 대한 경계를 유도한다.
• 최대우도 추정량 θ̂ₙ 주변의 집중도를 분석하기 위해 u = √n I(θ₀)^{1/2}(θ - θ̂ₙ)의 변환을 도입하고, 사전밀도 비율이 1에서 멀리 떨어져 있는 집합 Vₙ을 정의한다.
• 정규분포 근사와 체적 경계를 사용하여, λ̂ₙ 하의 사전분포가 너무 농축되거나 진실과 맞지 않으면 L₁-거리가 0에서 멀리 떨어져 있음을 보이며, 이는 융합 실패를 의미한다.

실험 결과

연구 질문

• RQ1 경험 베이즈 사후분포가 정규 베이즈 사후분포와 약하게 융합하는 조건은 무엇인가?
• RQ2 경험 베이즈 사후분포가 총변동 거리 기준으로 정규 베이즈 사후분포와 강하게 융합하는 조건은 무엇인가?
• RQ3 왜 경험 베이즈 절차가 0 또는 1과 같은 탈선된 초모수 추정치를 유도하여 병적인 행동을 보일 수 있으며, 언제 그런 일이 피할 수 없는가?
• RQ4 초모수의 주변 최대우도 추정량이 EB 사후분포의 일관성을 보장할 수 있는가? 이를 보장하는 조건은 무엇인가?
• RQ5 디리클레 과정 혼합모형이나 g-우도와 같은 설정에서 경험 베이즈 절차가 정규 베이즈와 융합하지 못하는 이유는 무엇이며, 어떤 조건에서 그러한 실패가 발생하는가?

주요 결과

• EB 사후분포가 정규 베이즈 사후분포와 약하게 융합하는 것과, 매개수 공간 내 모든 θ₀에서 EB 사후분포의 약한 일관성이 동치이다.
• 조정된 초모수 λ̂ₙ가 너무 농축되거나 진실과 맞지 않으면, 조건이 만족하더라도 EB 사후분포와 정규 베이즈 사후분포 간의 L₁-거리가 0에서 멀리 떨어져 있음을 보이며, 이는 융합 실패를 의미한다.
• 모형 선택 사전에서 초모수 p의 주변 최대우도 추정량이 0 또는 1일 확률이 양수일 경우, 해당 EB 사전은 탈선하게 되어 나쁜 사후 행동을 유도한다.
• 부드러운 우도와 사전분포를 갖는 정규 매개수 모형에서는, 초모수 추정량이 일관성 있고 사전분포가 θ₀에서 연속일 경우, EB 사후분포가 정규 베이즈 사후분포로 총변동 거리 수렴한다.
• λ̂ₙ → λ이지만 λ̂ₙ 하의 사전분포가 진실된 λ 하의 사전분포와 渐近적으로 동치가 아니면, EB와 정규 베이즈 사후분포 간의 L₁-거리가 0에서 멀리 떨어져 있다.
• 디리클레 과정 혼합모형과 g-우도의 경우, EB 절차가 진실을 가장 잘 지지하는 초모수 값을 선택하는 조건을 규명하여 융합과 일관성을 보장한다.