[논문 리뷰] Criteria for posterior consistency

B. J. K. Kleijn, Yue Zhao|arXiv (Cornell University)|2013. 08. 06.

Bayesian Methods and Mixture Models참고 문헌 30인용 수 4

한 줄 요약

이 논문은 베이지안 비모수 추론에서 사후 일致성에 대한 민감한 프레임워크를 개발하며, 쿨백-라이블러 이웃 조건을 헬링거 또는 거리 구간 내의 사전 질량 하한으로 대체하여 스카버츠의 정리를 잘 정의된 모형과 잘못 정의된 모형 모두로 일반화한다. 더 약한 조건 하에서도 사후 일치성을 확립하며, 특히 KL 사전이 존재하지 않는 모형에 대해서도 성립하고, 제2차 고살-고샤-반더바르트 조건을 KL 이웃 내 사전 질량의 하한으로 약화시킬 수 있음을 보여주어, 체중이 무거운 분포를 가진 파라미터 모형에서도 사후 수렴 속도를 확보한다.

ABSTRACT

Frequentist conditions for asymptotic suitability of Bayesian procedures focus on lower bounds for prior mass in Kullback-Leibler neighbourhoods of the data distribution. The goal of this paper is to investigate the flexibility in criteria for posterior consistency with i.i.d. data. We formulate a versatile posterior consistency theorem that applies both to well- and mis-specified models and which we use to re-derive Schwartz's theorem, consider Kullback-Leibler consistency and formulate consistency theorems in which priors charge metric balls. It is generalized to sieved models with Barron's negligible prior mass condition and to separable models with variations on Walker's consistency theorem. Results also apply to marginal semi-parametric consistency: support boundary estimation is considered explicitly and consistency is proved in a model for which Kullback-Leibler priors do not exist. Other examples include consistent density estimation in mixture models with Dirichlet or Gibbs-type priors of full weak support. Regarding posterior convergence at a rate, it is shown that under a mild integrability condition, the second-order Ghosal-Ghosh-van der Vaart prior mass condition can be relaxed to a lower bound to the prior mass in Schwartz's Kullback-Leibler neighbourhoods. The posterior rate of convergence is derived in a simple, parametric model for heavy-tailed distributions in which the Ghosal-Ghosh-van der Vaart condition cannot be satisfied by any prior.

연구 동기 및 목표

• 쿠랄바-라이블러 이웃 조건을 초월하여, 거리 구간과 헬링거 이웃 조건을 포함한 사후 일치 기준을 확장한다.
• 스카버츠의 정리를 잘못 정의된 모형과 총 유계성이 없는 모형으로 일반화한다.
• 제2차 고살-고샤-반더바르트 조건을 KL 이웃 내 사전 질량의 하한으로 약화시킨다.
• KL 사전이 존재하지 않는 모형, 예를 들어 지오메트릭 스케일 가족의 유계된 지지에서의 사후 일치성을 확립한다.
• 표준 조건이 실패할 때조차도 약한 적분 조건 하에서 사후 수렴 속도를 도출한다.

제안 방법

• 헬링거 구간을 사용한 커버링 추론 기반의 일반적인 사후 일치 정리 제안 — 잘 정의된 모형과 잘못 정의된 모형 모두 적용 가능.
• 비총유계 모형을 다루기 위해 바론의 무시할 만한 사전 질량 조건에 영감을 받은 분할 전략 사용.
• 워커의 일치 프레임워크를 적용하여 쿨백-라이블러 발산의 분리 기반 테스트 수열을 구성.
• 사후 집중도를 측정하기 위해 $ \pi_{P_0}(W,B) $ 라는 핵심 양을 도입 — $ P_0 $ 하에서 집합 $ W $ 와 $ B $ 사이의 분리를 측정.
• 사후 尾 확률를 제어하기 위해 $ \mathbb{E}_{P_0}[ (dP/dQ)^\alpha ] $ 의 새로운 경계를 활용.
• KL 이웃 내 사전 질량의 하한이 사후 일치성과 수렴 속도를 확보하는 데 충분함을 보여주며, 고살-고샤-반더바르트 조건이 실패하더라도 성립함.

실험 결과

연구 질문

• RQ1 헬링거 거리 기준으로 모형의 총 유계성이 필요 없이 사후 일치성을 확보할 수 있는가?
• RQ2 지오메트릭 스케일 가족의 유계된 지지에서와 같이 쿨백-라이블러 사전이 존재하지 않는 모형에서도 사후 일치성을 달성할 수 있는가?
• RQ3 제2차 고살-고샤-반더바르트 조건을 KL 이웃 내 사전 질량의 하한으로 약화시킬 수 있는가?
• RQ4 표준 조건이 실패하는 체중이 무거운 분포를 가진 파라미터 모형에서 이 프레임워크가 사후 수렴 속도를 지원하는가?
• RQ5 KL 사전이 없더라도 지지 경계 추정이 포함된 모형에서 경계 반경에 대한 반모수적 일치성을 달성할 수 있는가?

주요 결과

• 모형이 헬링거 총 유계성이 없더라도, KL 이웃 내 사전 질량의 하한 조건이 충족되면 사후 일치성이 성립한다.
• 이 프레임워크는 스카버츠의 정리를 잘못 정의된 모형으로 일반화하며, KL 사전이 존재하지 않는 모형에서도 일관된 추정이 가능하게 한다.
• KL 사전이 제공되지 않는 반모수적 모형에서 지지 경계 추정에 대해 일관성이 확립된다.
• 제2차 고살-고샤-반더바르트 조건은 KL 이웃 내 사전 질량의 하한으로 약화될 수 있으며, 이는 사후 수렴 속도를 가능하게 한다.
• 고살-고샤-반더바르트 조건을 어떤 사전로도 만족시킬 수 없는 체중이 무거운 분포를 가진 파라미터 모형에서 사후 수렴 속도가 유도된다.
• 완전한 약한 지지 조건을 가진 혼합 모형에서 딜레트-또는 지브스-형 사전을 사용한 밀도 추정에 이 방법이 적용된다.