[논문 리뷰] A Diffusion Process Perspective on Posterior Contraction Rates for Parameters

Wenlong Mou, Nhat Ho외 3명|arXiv (Cornell University)|2019. 09. 03.

Bayesian Methods and Mixture Models참고 문헌 38인용 수 4

한 줄 요약

이 논문은 베이지안 모델에서 사후 분포 수축 속도를 분석하기 위해 랭지에브인 확산 과정을 프레임워크로 도입한다. 사후 분포를 랭지에브인 확산 과정으로 모델링함으로써, 모멘트 동역학과 확률적 편향을 제어함으로써, 인구 구조와 노이즈 간의 비선형 관계를 연결하는 방정식을 통해 비점근적 수축 속도를 도출한다. 이는 베르누이-폰 노이만 보장 조건을 수립하고, 구체적인 모델과 랭지에브인 샘플링 근사치에서 결과를 검증한다.

ABSTRACT

We analyze the posterior contraction rates of parameters in Bayesian models via the Langevin diffusion process, in particular by controlling moments of the stochastic process and taking limits. Analogous to the non-asymptotic analysis of statistical M-estimators and stochastic optimization algorithms, our contraction rates depend on the structure of the population log-likelihood function, and stochastic perturbation bounds between the population and sample log-likelihood functions. Convergence rates are determined by a non-linear equation that relates the population-level structure to stochastic perturbation terms, along with a term characterizing the diffusive behavior. Based on this technique, we also prove non-asymptotic versions of a Bernstein-von-Mises guarantee for the posterior. We illustrate this general theory by deriving posterior convergence rates for various concrete examples, as well as approximate posterior distributions computed using Langevin sampling procedures.

연구 동기 및 목표

• 스토케스틱 미분 방정식을 활용한 비점근적 프레임워크를 개발하여 사후 수축 속도를 분석하는 것.
• 베이지안 사후 집중 현상에 대해 빈도주의 M-추정기 분석 기법을 확장하기 위해 사후 진동을 확산 과정으로 모델링하는 것.
• 표본과 인구 목표 간의 확률적 편향에 따라 의존하는 수축 속도를 도출하는 것.
• 이러한 확산 기반 시각에서 사후 분포에 대한 비점근적 베르누이-폰 노이만 유사 결과를 증명하는 것.
• 구체적인 모델과 랭지에브인 샘플링 절차를 통해 얻은 근사 사후 분포에서 이론을 검증하는 것.

제안 방법

• 사후 밀도가 로그우도의 스코어 함수에 의해 구동되는 Itô 과정을 따르는 랭지에브인 확산 과정으로 사후 진동을 모델링한다.
• 리아푸노프 함수 접근법을 통해 확산 과정의 모멘트를 제어하여 사후 분포 하에서 매개변수의 p차 모멘트를 유계로 둔다.
• 인구 수준의 오목성 구조(ψ를 통해)와 확률적 편향 항목(ζ를 통해) 및 확산 행동 간의 핵심 비선형 방정식을 유도한다.
• 그론발의 부등식을 사용하여 기대 모멘트 성장률을 유계로 둔다. 이를 통해 사후 분포의 균일한 모멘트 유계를 도출한다.
• 꼬리 행동을 제어하기 위해 잘라내기와 베르누이 타입의 부등식을 적용하여, 경험적 목표 함수의 차이가 인구 목표 함수 주위에 균일하게 집중되도록 보장한다.
• 극한 정리와 적분 부등식을 활용하여 확산 과정의 장기적 행동을 분석하고 사후 최빈값으로의 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 베이지안 모델에서 사후 수축 속도는 어떻게 스토케스틱 미분 방정식의 시각에서 분석할 수 있는가?
• RQ2 인구 로그우도의 구조와 표본에 의한 편향이 사후 집중에 미치는 영향은 무엇인가?
• RQ3 확산 과정 프레임워크를 통해 비점근적 베르누이-폰 노이만 정리가 수립될 수 있는가?
• RQ4 수축 속도는 인구 목표 함수의 곡률과 경험적 목표 함수의 노이즈 간 상호작용에 따라 어떻게 달라지는가?
• RQ5 랭지에브인 샘플링 근사치가 진정한 사후 분포와 동일한 수축 속도를 유추할 수 있는 정도는 어느 정도인가?

주요 결과

• 사후 수축 속도는 부등식 ψ(r) ≤ εₙζ(r)의 최대 해에 의해 결정되며, ψ는 인구 수준의 곡률를 나타내고, ζ는 확률적 편향을 측정한다.
• 확산 과정의 극한 행동과 그 모멘트 동역학을 분석함으로써 비점근적 베르누이-폰 노이만 보장을 수립한다.
• 사후 분포의 p차 모멘트는 차원 d, 로그우도 곡률 cₚ, 노이즈 수준 Rδ에 따라 결정되는 항으로 균일하게 유계로 둔다.
• 사후 분포 하에서 매개변수의 기대 L² 노름에 대한 유계는 E[‖θ‖₂ᵖ | Xⁿ]¹ᐟᵖ ≤ (p+1)Rδ + √(6(p+d)/cₚ)를 만족하며, 이는 차원 의존적 집중을 보여준다.
• 이론은 특정 모델에 대해 수축 속도를 성공적으로 특성화하고, 랭지에브인 샘플링 근사치가 동일한 비점근적 행동을 상속함을 검증한다.
• 미약한 정규성 조건 하에서, 장기적 행동이 진짜 매개변수 주위에 집중된 분포로 수렴한다는 극한 결과를 증명한다.