[논문 리뷰] Asymptotic Consistency of $α-$Rényi-Approximate Posteriors

Prateek Jaiswal, Vinayak Rao외 1명|arXiv (Cornell University)|2019. 02. 05.

advanced mathematical theories인용 수 5

한 줄 요약

이 논문은 α > 1인 α-Rényi 근사 사후분포에 대해 渐近적 일致성을 확립한다. 이는 기존의 KL 기반 변분 베이지안 추론보다 넓고 더 견고한 사후분포 근사를 제공하는 α-Rényi 산란도를 최소화하는 방법이다. 주요 기여는 데이터가 증가함에 따라 진짜 사후분포를 일관되게 복원할 수 있는 충분조건을 특정하는 것으로, 이는 '좋은' 근사 분포의 수열이 적절한 수렴 속도를 가지며 존재할 경우에 해당한다.

ABSTRACT

We study the asymptotic consistency properties of $α$-Rényi approximate posteriors, a class of variational Bayesian methods that approximate an intractable Bayesian posterior with a member of a tractable family of distributions, the member chosen to minimize the $α$-Rényi divergence from the true posterior. Unique to our work is that we consider settings with $α> 1$, resulting in approximations that upperbound the log-likelihood, and consequently have wider spread than traditional variational approaches that minimize the Kullback-Liebler (KL) divergence from the posterior. Our primary result identifies sufficient conditions under which consistency holds, centering around the existence of a 'good' sequence of distributions in the approximating family that possesses, among other properties, the right rate of convergence to a limit distribution. We further characterize the good sequence by demonstrating that a sequence of distributions that converges too quickly cannot be a good sequence. We also extend our analysis to the setting where $α$ equals one, corresponding to the minimizer of the reverse KL divergence, and to models with local latent variables. We also illustrate the existence of good sequence with a number of examples. Our results complement a growing body of work focused on the frequentist properties of variational Bayesian methods.

연구 동기 및 목표

• α > 1인 경우에 대해 α-Rényi 근사 사후분포가 渐近적 일치성을 갖는 이론적 조건을 확립하는 것.
• 일관성을 보장하는 데 기여하는 '좋은' 근사 분포 수열의 성질을 규명하고, 너무 빨리 수렴하는 수열과의 차이를 밝히는 것.
• 역 KL 사례(α = 1)와 국소 잠재 변수를 가진 모델로 분석을 확장하는 것.
• 특히 더 넓은 사후분포 분산이 바람직한 경우에 α-Rényi 산란도를 변분 추론에 사용하는 데 이론적 근거를 제공하는 것.
• 일반적인 정규성 조건 하에서 기존의 빈도주의 분석을 보완하여 변분 베이지안 방법의 일관성을 확립하는 것.

제안 방법

• 진짜 사후분포와 접근 가능한 가족 내 분포 간의 α-Rényi 산란도를 최소화하는 것으로 α-Rényi 근사 사후분포를 제안한다.
• α > 1인 α-Rényi 산란도를 사용하여, 로그우도를 상한으로 올려주는 근사 분포를 도출함으로써 KL 기반 방법보다 꼬리가 두꺼운 분포를 생성한다.
• 적절한 수렴 속도를 가지며 진짜 사후분포로 수렴하는 '좋은' 근사 분포 수열을 통해 일관성을 확립하며, 너무 빠른 수렴을 피한다.
• 로컬 점근 정규성(LAN) 조건과 Bickel 및 Kleijn(2012)의 결과를 활용하여 진짜 모델과 추정 모델 하에서의 우도비가 점점 유사해지는 점근적 등가성을 유도한다.
• 특히 국소 잠재 변수를 가진 모델에서, 공동 사후분포의 구조와 잠재 변수에 대한 마진화를 통해 α-Rényi 산란도에 대한 경계를 도출한다.
• Rényi 산란도에 맞게 조정된 기초하한값(ELBO) 프레임워크를 활용하여, α-Rényi 산란도를 최소화하면 마진널리elihood에 대한 하한이 도출됨을 보여준다.

실험 결과

연구 질문

• RQ1 표본 크기가 증가함에 따라 α-Rényi 근사 사후분포가 진짜 사후분포로 수렴하는 조건은 무엇인가?
• RQ2 '좋은' 근사 분포 수열과 너무 빨리 수렴하여 일관성을 확보하지 못하는 수열을 구분하는 요소는 무엇인가?
• RQ3 α-Rényi 변분 추론의 점근적 행동은 표준 KL 기반 변분 추론(α = 1)과 비교해 어떻게 다른가?
• RQ4 국소 잠재 변수를 가진 모델로는 일관성 결과를 확장할 수 있는가? 특히 사후분포가 고차원일 경우에 대해.
• RQ5 LAN 조건은 진짜 모델과 근사 모델 하에서의 우도비가 점점 유사해지는 데 어떤 역할을 하는가?

주요 결과

• 논문은 '좋은' 근사 분포 수열이 존재하고, 이 수열이 모델의 정규성 조건과 호환되는 속도로 진짜 사후분포로 수렴할 경우, α-Rényi 근사 사후분포가 점점 일관성이 있음을 입증한다.
• 너무 빨리 수렴하는 수열은 '좋은' 수열이 될 수 없으며, 이는 전체 사후분포 분산을 포괄하지 못하고 일관성 없는 추정을 초래하기 때문이다.
• α > 1일 경우, 이 방법은 KL 기반 변분 추론보다 더 넓은 사후분포 근사를 제공하며, 분산과 고차원 모멘트의 불확실성을 포착하는 데 유리하다.
• 분석은 역 KL 사례(α = 1)로도 확장되며, 동일한 충분조건 하에서 일관성이 유지됨을 보여, 두 산란도의 처리를 통합한다.
• 일반적인 통계 모델, 특히 국소 잠재 변수를 가진 모델에서 '좋은' 수열의 존재를 보여주는 예시를 통해 결과를 검증한다.
• s-LAN 조건과 적절한 근사 수열의 수렴이 보장될 경우, α-Rényi 산란도가 확률적으로 0으로 수렴함을 보여, 일관성이 보장됨을 입증한다.