[논문 리뷰] $α$-Variational Inference with Statistical Guarantees

Yun Yang, Debdeep Pati외 1명|arXiv (Cornell University)|2017. 10. 09.

Gaussian Processes and Bayesian Inference참고 문헌 50인용 수 7

한 줄 요약

이 논문은 통계적 보장이 있는 새로운 변분 근사 가족인 α-변분 추론(α-VB)을 소개한다. 온도 매개변수 α ∈ (0,1]을 도입함으로써, 증거 하한(lower bound)과 베이즈 위험 사이의 변분 부등식을 수립하여, 고차원 선형 회귀, 가우시안 혼합 모형, 토픽 모형을 포함한 다양한 모형에서 α-VB의 점 추정치가 참 매개변수로 최적의 충족 빈도론적 속도로 수렴함을 보장한다.

ABSTRACT

We propose a family of variational approximations to Bayesian posterior distributions, called $α$-VB, with provable statistical guarantees. The standard variational approximation is a special case of $α$-VB with $α=1$. When $α\in(0,1]$, a novel class of variational inequalities are developed for linking the Bayes risk under the variational approximation to the objective function in the variational optimization problem, implying that maximizing the evidence lower bound in variational inference has the effect of minimizing the Bayes risk within the variational density family. Operating in a frequentist setup, the variational inequalities imply that point estimates constructed from the $α$-VB procedure converge at an optimal rate to the true parameter in a wide range of problems. We illustrate our general theory with a number of examples, including the mean-field variational approximation to (low)-high-dimensional Bayesian linear regression with spike and slab priors, mixture of Gaussian models, latent Dirichlet allocation, and (mixture of) Gaussian variational approximation in regular parametric models.

연구 동기 및 목표

• 표준 변분 베이즈의 이론적 기반 부족 문제를 해결하기 위해, 빈도론적 통계 보장을 갖춘 변분 추론을 위한 통합 프레임워크를 개발하는 것.
• 표준 변분 추론(α=1)을 일반화하여, 모델 적합도와 사전 분포 정규화 사이의 트레이드오프를 제어할 수 있는 조정 가능한 매개변수 α ∈ (0,1]를 가진 더 넓은 가족인 α-VB로 확장하는 것.
• 증거 하한과 베이즈 위험을 연결하는 변분 부등식을 수립하여, ELBO를 최대화함으로써 변분 가족 내에서 베이즈 위험을 최소화함을 보장하는 것.
• α-VB의 점 추정치가 고차원 및 비모수 모형에서 진짜 사후분포로부터 유도된 것과 동일한 최적의 수렴 속도를 확보함을 보여주는 것.
• 스피크-앤드-슬랩 사전을 갖는 베이지안 선형 회귀, 혼합 모형, 잠재 디리클레 할당(Latent Dirichlet Allocation)과 같은 핵심 모형들에서 이론적 결과를 검증하는 것.

제안 방법

• α ∈ (0,1]인 레니의 산란도를 포함한 변분 목표 함수를 도입함으로써, 표준 변분 추론의 일반화로 α-VB를 제안하며, α=1일 때는 표준 VB 방법으로 복원된다.
• 특히 α ∈ (0,1]인 경우에 대해, 변분 목표 함수의 관점에서 변분 근사의 베이즈 위험을 제한하는 새로운 변분 부등식을 개발한다.
• 레니의 산란도와 증거 하한(ELBO)을 핵심 구성요소로 사용하며, ELBO는 베이즈 위험을 최소화하기 위한 최적화 목표로 기능한다.
• 검증 가능성과 사전 집중 가정(가정 T와 P)을 도입하여, 변분 위험 경계가 성립하는 조건을 확인한다.
• 특히 매개변수 공간이 유계이거나 구조가 있는 모형들에 대해, 가정 T를 검증하기 위해 우도 비율 검정과 스크린 구조를 활용한다.
• 유계 매개변수 공간에서 커버링 수와 거리 엔트로피를 사용하여 변분 해법과 빈도론적 사후 집중을 연결함으로써, α-VB 점 추정치의 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 표준 VB 방법을 초월하여, 변분 추론이 최적의 수렴 속도와 같은 빈도론적 통계 보장을 갖출 수 있는가?
• RQ2 온도 매개변수 α ∈ (0,1]를 도입함으로써, α=1일 때와 비교해 변분 근사의 통계적 성질이 어떻게 향상되는가?
• RQ3 α-VB 프레임워크에서 증거 하한과 베이즈 위험을 연결하는 변분 부등식은 무엇인가?
• RQ4 α-VB 절차가 어떤 조건에서 진짜 사후분포로부터의 추정치와 동일한 속도로 수렴함을 보장하는가?
• RQ5 이론적 프레임워크는 고차원 및 잠재 변수를 포함하는 모형들, 예를 들어 스피크-앤드-슬랩 사전을 갖는 베이지안 선형 회귀와 잠재 디리클레 할당에 어떻게 적용되고 검증될 수 있는가?

주요 결과

• α ∈ (0,1]일 때, α-VB 방법은 ELBO 최적화가 변분 가족 내에서 베이즈 위험을 최소화함을 보장하며, 이는 ELBO 최적화의 직접적인 통계적 정당화를 제공한다.
• α-VB에서 유도된 점 추정치는 고차원 베이지안 선형 회귀를 포함한 다양한 모형에서 진짜 사후분포로부터의 추정치와 동일한 최적의 수렴 속도로 참 매개변수로 수렴한다.
• 저차원 베이지안 선형 회귀의 평균장 근사에서 수렴 속도는 ε_n² = d log n / n이며, 우도 비율 검정과 적절한 스크린을 사용하여 가정 T가 검증된다.
• 희소 사전을 갖는 고차원 베이지안 선형 회귀에서는 수렴 속도가 ε_n² = s log(nd) / n이며, 공변수 색인 집합의 희소성 제약을 충족하는 스크린을 사용할 경우 가정 T가 성립한다.
• 유계 매개변수 공간을 갖는 모형들, 예를 들어 가우시안 혼합 모형과 잠재 디리클레 할당에서는 전체 매개변수 공간을 스크린으로 사용하고 제곱 헬링거 거리 함수를 손실 함수로 사용할 경우 가정 T가 성립한다.
• 잠재 변수가 존재하지 않을 경우, 이론적 프레임워크는 기존의 온도 조절 사후분포에 대한 이전 연구의 알려진 위험 경계를 복원하며, α-VB 접근법의 일반성과 일관성을 검증한다.