[논문 리뷰] Asymptotic Consistency of $\alpha$-{R}\'enyi-Approximate Posteriors

Prateek Jaiswal, Vinayak Rao외 1명|arXiv (Cornell University)|2019. 02. 05.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 5

한 줄 요약

이 논문은 α > 1인 α-Rényi 근사 사후분포에 대해 渐近적 일致성을 확립한다. 이는 전통적인 KL 기반 변분 베이지안 추론보다 넓고 더 견고한 사후분포 근사를 제공하는 α-Rényi 산란도를 최소화하는 방법이다. 주요 기여는 데이터가 증가함에 따라 진정한 사후분포를 일관되게 향해 갈 수 있도록 보장하는 충분조건을 규명한 것이다. 이 조건들은 '좋은' 근사 분포의 수열이 존재하고, 그 수렴 속도가 모형의 정규성 조건과 호환되어야 한다는 점에 중심을 두고 있다.

ABSTRACT

We study the asymptotic consistency properties of $\\alpha$-R\\'enyi approximate posteriors, a class of variational Bayesian methods that approximate an intractable Bayesian posterior with a member of a tractable family of distributions, the member chosen to minimize the $\\alpha$-R\\'enyi divergence from the true posterior. Unique to our work is that we consider settings with $\\alpha > 1$, resulting in approximations that upperbound the log-likelihood, and consequently have wider spread than traditional variational approaches that minimize the Kullback-Liebler (KL) divergence from the posterior. Our primary result identifies sufficient conditions under which consistency holds, centering around the existence of a 'good' sequence of distributions in the approximating family that possesses, among other properties, the right rate of convergence to a limit distribution. We further characterize the good sequence by demonstrating that a sequence of distributions that converges too quickly cannot be a good sequence. We also extend our analysis to the setting where $\\alpha$ equals one, corresponding to the minimizer of the reverse KL divergence, and to models with local latent variables. We also illustrate the existence of good sequence with a number of examples. Our results complement a growing body of work focused on the frequentist properties of variational Bayesian methods.

연구 동기 및 목표

• α > 1일 때 α-Rényi 근사 사후분포가 渐近적 일치성을 보이는 이론적 조건을 규명하는 것.
• 기존 변분 추론이 사후분산을 과소평가하는 한계를 보완하기 위해, 더 넓고 보수적인 근사를 장려하는 산란도 측정법을 사용하는 것.
• 일관성을 보장하기 위해 '좋은' 근사 분포 수열이 가져야 할 필수 성질(예: 수렴 속도 포함)을 규명하는 것.
• 역 KL 경우(α = 1)와 국소 잠재 변수를 가진 모형으로 분석을 확장하는 것.
• 기존 분야의 연구를 보완하여 α-Rényi 변분 추론의 빈도주의적 성질에 대한 이론적 근거를 제공하는 것.

제안 방법

• 논문은 α > 1인 경우 α-Rényi 산란도 최소화를 변분 추론 방법으로 분석하며, 근사 사후분포 q(θ)가 Dα(π(θ|Xn) || q(θ))를 최소화하도록 선택된다.
• 모형의 정규성 조건과 호환되는 수렴 속도를 갖는 '좋은' 근사 분포 수열 {q̄n(θ)}의 개념을 도입한다.
• 이론적 분석은 국소 점근 정규성(LAN) 조건과 하일링거 유형 거리 측도를 사용하여 근사 가족의 수렴을 제어하는 데 기반한다.
• 너무 빨리 수렴하는 수열은 좋은 수열일 수 없음을 증명하며, 일관성에 필요한 수렴 속도의 하한을 확립한다.
• 잠재 변수를 분석에서 진짜 값으로 고정함으로써 국소 잠재 변수를 가진 모형으로 프레임워크를 확장한다.
• α-Rényi 산란도가 로그우도를 상한으로 올리므로, KL 최소화보다 꼬리가 두꺼운 근사 분포를 도출함을 증명하는 데 기초한 증명 기법을 활용한다.

실험 결과

연구 질문

• RQ1 α > 1인 α-Rényi 변분 추론이 언제 渐近적 일치성을 보이는가?
• RQ2 α-Rényi 산란도 최소화의 맥락에서 '좋은' 근사 분포 수열이 만족해야 할 성질은 무엇인가?
• RQ3 국소 잠재 변수를 가진 모형으로 α-Rényi 근사의 이론적 일관성은 확장 가능한가?
• RQ4 근사 수열의 수렴 속도가 α-Rényi 사후분포의 일관성에 어떤 영향을 미치는가?
• RQ5 α-Rényi 산란도와 역 KL 산란도(α = 1) 사이의 점근적 행동에서의 관계는 무엇인가?

주요 결과

• 논문은 '좋은' 근사 분포 수열이 존재하고, 진짜 사후분포로 적절한 속도로 수렴할 경우, α-Rényi 근사 사후분포의 渐近적 일치성이 성립함을 규명한다.
• 너무 빨리 수렴하는 수열은 좋은 수열이 될 수 없으며, 이는 일관성에 필요한 수렴 속도의 하한이 존재함을 시사한다.
• α > 1일 경우, α-Rényi 산란도는 KL 최소화보다 더 넓은 사후분포 근사를 이끌어내며, 로그우도를 상한으로 올리고 부족한 커버리지에 대해 페널티를 주기 때문이다.
• 분석은 역 KL 경우(α = 1)로 확장되었으며, 유사한 조건 하에서 일관성을 보임을 보여, 두 산란도의 처리를 통합한다.
• 표준 모형에서 좋은 수열의 존재를 보여주는 예시를 통해 결과가 검증되었으며, 이는 이론적 프레임워크를 지지한다.
• LAN 조건과 하일링거 수렴 조건을 포함한 정규성 조건 하에서, α-Rényi 근사는 n → ∞일 때 진짜 사후분포로 확률적 수렴을 보임을 확인한다.