[논문 리뷰] Posterior concentration rates for empirical Bayes procedures, with applications to Dirichlet Process mixtures

Sophie Donnet, Vincent Rivoirard외 2명|arXiv (Cornell University)|2014. 06. 17.

Bayesian Methods and Mixture Models참고 문헌 40인용 수 5

한 줄 요약

이 논문은 데이터에 의존하는 사전 분포를 가진 실험 베이즈 절차에서 사후 농도 수렴 조건을 일반적으로 설정하며, 초모수를 데이터로부터 추정하는 설정으로 빈도주의 점근 이론을 확장한다. 이 결과들을 디리클레 과정 혼합 정규분포와 Aalen 모형 하의 카운팅 과정에 적용하여 최적의 수렴 속도를 도출하고, 비균일한 포아송 과정에서 시뮬레이션을 통해 접근의 타당성을 검증한다.

ABSTRACT

In this paper we provide general conditions to check on the model and the prior to derive posterior concentration rates for data-dependent priors (or empirical Bayes approaches). We aim at providing conditions that are close to the conditions provided in the seminal paper by Ghosal and van der Vaart (2007a). We then apply the general theorem to two different settings: the estimation of a density using Dirichlet process mixtures of Gaussian random variables with base measure depending on some empirical quantities and the estimation of the intensity of a counting process under the Aalen model. A simulation study for inhomogeneous Poisson processes also illustrates our results. In the former case we also derive some results on the estimation of the mixing density and on the deconvolution problem. In the latter, we provide a general theorem on posterior concentration rates for counting processes with Aalen multiplicative intensity with priors not depending on the data.

연구 동기 및 목표

• 데이터에 따라 초모수가 결정되는 실험 베이즈 절차에서 사후 농도 수렴 속도를 평가하기 위한 일반적 프레임워크를 개발하는 것.
• Ghosal과 van der Vaart(2007a)의 이론적 기반을 데이터 기반 사전 분포로 확장하여 사후 추론의 빈도주의 타당성을 보장하는 것.
• 사전 분포가 사전에 고정되어 있지 않은 경우에도 실험 베이즈 사후 분포가 최적 속도로 수렴할 수 있는 조건을 확립하는 것.
• 비모수 모형인 디리클레 과정 혼합 정규분포와 Aalen 모형 하의 카운팅 과정에 일반 이론을 적용하는 것.
• 비균일한 포아송 과정에서의 시뮬레이션 연구를 통해 이론적 결과를 실증적으로 검증하는 것.

제안 방법

• Ghosal과 van der Vaart(2007a)의 검정 및 사전 질량 조건을 변형하여 데이터에 의존하는 사전 분포 하에서 사후 농도 수렴 속도에 대한 일반 정리를 도출한다.
• 데이터 기반 사전 분포에 맞게 조정된, 가설 $ H_0: \theta = \theta_0 $ 대 대립가설 $ H_1: d(\theta, \theta_0) > \epsilon_n $ 에 대한 지수적으로 강력한 검정을 구성한다.
• Kullback-Leibler 이웃 주변의 사전 질량과 매개변수 공간의 거리 엔트로피에 조건을 도입하여 사후 농도를 통제한다.
• 표본 평균과 분산과 같은 경험적 양에 의존하는 기저 측도를 가진 디리클레 과정 혼합에 적용한다.
• 카운팅 과정에 대한 Aalen 모형을 분석하여, 데이터 기반 사전 분포를 가진 다중성 강도에 대한 사후 농도 수렴 속도를 도출한다.
• 시뮬레이션 연구를 통해 실험 베이즈 사후 분포가 비균일한 포아송 강도를 추정할 때의 성능을 설명한다.

실험 결과

연구 질문

• RQ1 초모수가 데이터로부터 추정될 경우, 실험 베이즈 사후 분포가 최적 속도로 수렴할 조건은 무엇인가?
• RQ2 Ghosal과 van der Vaart(2007a)의 이론적 프레임워크는 비모수 모형에서 데이터 기반 사전 분포로 확장될 수 있는가?
• RQ3 기저 측도가 데이터 기반일 경우, 디리클레 과정 혼합 정규분포의 사후 농도 수렴 속도는 무엇인가?
• RQ4 Aalen 모형 하에서 데이터 기반 사전 분포를 가진 카운팅 과정의 맥락에서 실험 베이즈 사후 분포는 어떻게 행동하는가?
• RQ5 이론적 결과는 비균일한 포아송 과정에서의 시뮬레이션을 통해 실증적으로 검증될 수 있는가?

주요 결과

• 논문은 사전 분포가 데이터에 의존하더라도, 완전 베이즈 사후 분포와 동일한 속도로 수렴할 수 있는 충분한 조건을 설정한다.
• 데이터 기반 기저 측도를 가진 디리클레 과정 혼합 정규분포에 대해서는 규칙성 조건 하에서 밀도 추정의 최소최대 속도로 사후 분포가 수렴한다.
• 초모수를 경험적으로 추정하는 사전 분포를 사용할 경우, Aalen 모형 하의 카운팅 과정에서 최적의 수렴 속도를 달성한다.
• 시뮬레이션 연구를 통해 실험 베이즈 사후 분포가 비균일한 포아송 과정에서 정확한 속도로 수렴함을 확인하여 이론적 결과를 지지한다.
• 논문은 디리클레 과정 혼합 설정에서 혼합 밀도 추정과 탈컨볼루션에 대한 추가 결과를 도출하여 프레임워크의 적용 범위를 확장한다.
• 이론적 프레임워크는 파rametric 및 비모수 모형을 모두 포함할 수 있도록 일반적이며, 실험 베이즈 사후 농도 수렴에 대한 통합적 접근을 제공한다.