[논문 리뷰] On convergence rates of Bayesian predictive densities and posterior distributions

Ryan Martin, Liang Hong|arXiv (Cornell University)|2012. 09. 29.

Bayesian Methods and Mixture Models참고 문헌 10인용 수 5

한 줄 요약

이 논문은 예측 밀도를 중심 도구로 사용하여 다양한 데이터 모델—독립 동일분포(iid), 잘못된 모형, 비독립 동일분포, 의존성 있는 모델—에서 베이지안 사후분포와 예측 밀도의 수렴 속도를 통합적으로 분석하는 프레임워크를 개발한다. 국소적 사전 두께와 분리 성질에 초점을 맞추어, 모형 구조나 혼합 행동에 대한 최소한의 가정으로도 더 날카롭고 일반적인 사후 집중 보장을 가능하게 하는 더 약한 조건을 제시한다.

ABSTRACT

Frequentist-style large-sample properties of Bayesian posterior distributions, such as consistency and convergence rates, are important considerations in nonparametric problems. In this paper we give an analysis of Bayesian asymptotics based primarily on predictive densities. Our analysis is unified in the sense that essentially the same approach can be taken to develop convergence rate results in iid, mis-specified iid, independent non-iid, and dependent data cases.

연구 동기 및 목표

• 독립 동일분포(iid), 잘못된 모형, 비독립 동일분포, 의존성 있는 마르코프 과정을 포함한 다양한 통계 모형에서 사후분포와 예측 밀도 수렴 속도의 분석을 통합하기 위해.
• 예측 밀도와 국소적 사전 두께에 중심을 두어, 강력한 엔트로피 또는 커버링 조건에 대한 의존도를 줄이기 위해.
• 특히 의존성 있거나 복잡한 모형에서 전체 사후 집중보다 더 약한 조건으로도 예측 밀도의 수렴을 확보할 수 있음을 보여주기 위해.
• 진짜 밀도에서 멀리 떨어진 집합의 사후 확률을 제한하기 위한 새로운 분리 기반 보조정리(lemma)를 도입하여, 여러 종류의 데이터 의존성 구조에 적용 가능하도록 하기 위해.
• 예측 밀도 수렴 속도가 최소한의 정규성 조건 하에서도 최소자승 최적 속도를 달성할 수 있음을 보여주기 위해, 특히 사후 수렴이 더 강한 혼합 조건이나 모멘트 가정이 필요한 경우에도 말이다.

제안 방법

• 다양한 손실 함수 하에서 베이지안 추정치로서의 예측 밀도의 역할을 활용하여, 분석의 주요 대상으로 예측 밀도를 사용한다.
• Choi와 Ramamoorthi(2008)의 영감을 얻어, 헬링거 거리와 쿨백-라이블러 거리를 사용하여 진짜 밀도에서 멀리 떨어진 집합의 사후 확률을 제한하는 분리 기반 보조정리를 도입한다.
• 진짜 밀도에서의 사전 두께에 대한 국소적 두께 조건을 적용하며, 이는 $ R_n(f) = rac{ ext{like}(f)}{ ext{like}(f^ullet)} $로 정의된 마진럴 우도 비율을 통해 이루어지며, 진리 근처에 충분한 사전 질량이 있도록 보장한다.
• 최대 헬링거 거리와 평균 헬링거 거리를 사용한 커버링 추론을 통해 매개변수 공간의 엔트로피와 메트릭 엔트로피를 제어한다.
• Ghosal 등(2000)의 시브+커버링 접근법을 적응적으로 적용하고, Walker 등(2007)의 이전 합산 조건과 비교하여, 후자가 더 약한 조건임을 보여준다.
• 쿨백-라이블러 발산에 대한 모멘트 조건과 첫 번째 모멘트 제어를 통해 의존성 있는 데이터에 결과를 확장하며, 강력한 혼합 가정을 피한다.

실험 결과

연구 질문

• RQ1 다양한 통계 모형에서 사후분포와 예측 밀도 수렴 속도를 분석할 수 있는 단일 통합적 접근법을 개발할 수 있는가?
• RQ2 전체 사후 집중에 요구되는 조건보다 더 약한 조건으로도 예측 밀도 수렴을 보장할 수 있는 정도는 어느 정도인가?
• RQ3 매개변수 집합의 국소적 사전 두께와 분리 성질이 사후분포가 진짜 밀도 주변에 얼마나 빨리 집중되는지에 영향을 주는가?
• RQ4 의존성 있거나 잘못된 모형에서, 강력한 혼합 조건이나 우도에 대한 고차 모멘트 가정 없이도 예측 밀도 수렴을 확보할 수 있는가?
• RQ5 사후 집중 이론에서 시브 기반 커버링 조건과 이전 합산 조건 사이의 관계는 무엇인가?

주요 결과

• 논문은 표준 사후 수렴 정리보다 더 약한 조건 하에서, 모든 네 가지 데이터 모델(iid, 잘못된 모형의 iid, 비독립 동일분포, 의존성 있는 마르코프 과정)에 대해 예측 밀도의 세사로 스타일 수렴 속도 결과를 확립한다.
• 진짜 밀도에서 멀리 떨어진 집합의 사후 확률을 제한할 수 있는 새로운 분리 기반 보조정리가 개발되었으며, 이 보조정리는 네 가지 데이터 모델 전반에 걸쳐 균일하게 적용 가능하다.
• Ghosal 등(2000)의 시브+커버링 조건이 Walker 등(2007)의 이전 합산 조건보다 더 약한 조건임을 보여주어, 사전 설계의 더 큰 유연성을 시사한다.
• 스플라인 사전을 사용한 비모수적 회귀에서, 국소적 사전 두께와 온건한 부드러움 조건만으로도 예측 밀도는 최소자승 속도 $ n^{-rac{eta}{2eta+1}} $로 수렴하며, 이는 최적 속도와 일치한다.
• 의존성 있는 데이터 모델에서는, 사후 수렴 결과가 더 강한 가정이 필요한 것과 달리, 예측 밀도 수렴은 첫 번째 쿨백-라이블러 제어 외에는 혼합 조건이나 모멘트 조건이 필요로 하지 않는다.
• 분석 결과, 예측 밀도 수렴을 위해 모형 엔트로피나 전역 커버링 조건이 필요로 하지 않으며, 오직 국소적 사전 두께와 분리 조건만으로도 충분함을 드러내어, 더 약하고 실용적인 사전 제약 조건으로 이어질 수 있다.