[논문 리뷰] Empirical priors for targeted posterior concentration rates

Ryan R. Martin, Stephen G. Walker|arXiv (Cornell University)|2016. 04. 19.

Bayesian Methods and Mixture Models참고 문헌 40인용 수 8

한 줄 요약

이 논문은 고차원 베이지안 모델에서 최적의 사후 농도율을 보장하는 데이터에 의존하는 사전분포—실험적 사전분포—를 구성하기 위한 일반적 프레임워크를 제안한다. 높은 우도를 가지는 매개변수 값에 사전 질량을 배치함으로써 이 방법은 사전 형태에 대한 민감도를 감소시키며, 밀도 추정, 비모수 회귀, 고차원 정규 모델에서 목표로 하는 일반적으로 최적의 농도율을 달성하면서도 편리한 사전분포를 사용할 수 있도록 한다.

ABSTRACT

In high-dimensional Bayesian applications, choosing a prior such that the corresponding posterior distribution has desired asymptotic concentration properties can be challenging. This paper develops a general strategy for constructing empirical or data-dependent priors whose corresponding posterior distributions have targeted, often optimal, concentration rates. In essence, the idea is to place a prior which has sufficient mass on parameter values for which the likelihood is suitably large. This makes the asymptotic properties of the posterior less sensitive to the shape of the prior which, in turn, allows users to work with priors of convenient forms while maintaining the desired posterior concentration rates. General results on both adaptive and non-adaptive rates based on empirical priors are presented, along with illustrations in density estimation, nonparametric regression, and high-dimensional structured normal models.

연구 동기 및 목표

• 고차원 베이지안 모델에서 원하는 점근적 농도율을 도출하는 사전분포 선택 문제를 해결하기 위해.
• 데이터에 의존하는 사전분포 구성 방식을 통해 사후 농도율이 사전의 구체적 형태에 민감하지 않도록 하기 위해.
• 다양한 모델에 적용 가능한 일반 전략을 개발하여 적응형 및 비적응형 농도율 모두에 대응하기 위해.
• 최적의 사후 농도 성질을 유지하면서도 편리한 사전형태를 사용할 수 있도록 하기 위해.

제안 방법

• 우도가 큰 매개변수 값에 질량을 배치하여 실험적 사전분포를 구성함으로써 사후 농도를 높이는 방식을 사용한다.
• 실험적 위험 또는 우도 기반 선택을 통해 사전의 지지역을 정의함으로써 데이터에 의존하는 사전분포를 만든다.
• 적응형 및 비적응형 설정 모두에서 실험적 사전분포 하의 사후 농도율에 대한 일반적인 이론적 결과를 수립한다.
• 밀도 추정, 비모수 회귀, 고차원 구조적 정규 모델 등 특정 모델에 이 프레임워크를 적용한다.
• 정규 조건 하에서 사후 농도율이 최소 최대 최적율과 일치함을 입증한다.
• 사전 질량 할당에 우도를 프록시로 사용함으로써 사전 형태와 농도 성능을 분리한다.

실험 결과

연구 질문

• RQ1 고차원 모델에서 최적의 사후 농도율을 달성하기 위해 데이터에 의존하는 사전분포를 구성할 수 있는가?
• RQ2 유의미한 점근적 농도 성질을 유지하면서도 사전 형태에 대한 민감도를 어떻게 줄일 수 있는가?
• RQ3 어떤 일반 조건이 실험적 사전분포가 적응형 또는 비적응형 최적의 사후 농도율을 도출하도록 보장하는가?
• RQ4 밀도 추정 또는 비모수 회귀와 같은 어떤 설정에서 실험적 사전분포 접근 방식이 최적의 성능을 낼 수 있는가?
• RQ5 데이터 기반 질량 할당과 결합했을 때 편리한 사전형태를 효과적으로 사용할 수 있는가?

주요 결과

• 실험적 사전분포는 높은 우도 매개변수 영역에 사전 질량을 집중시음으로써 사전 형태에 대한 의존도를 줄이며 최적의 사후 농도율을 달성한다.
• 이 방법은 단순하거나 편리한 사전형태를 사용할 때조차도 목표로 하는 농도율을 보장하여 실용적 사용성을 향상시킨다.
• 이론적 결과에 따르면 정규 조건 하에서 사후 농도율이 최소 최대 최적율과 일치한다.
• 이 프레임워크는 밀도 추정, 비모수 회귀, 고차원 구조적 정규 모델을 포함한 광범위한 분야에 적용 가능하다.
• 복잡한 사전 사양이 필요 없이도 적응형 농도율을 달성할 수 있다.
• 우도를 사전 질량 할당의 지침으로 사용함으로써 다양한 모델에서 점근적 행동을 안정화시킬 수 있다.