[논문 리뷰] On the properties of variational approximations of Gibbs posteriors

Pierre Alquier, James Ridgway외 1명|arXiv (Cornell University)|2015. 06. 12.

Markov Chains and Monte Carlo Methods참고 문헌 44인용 수 77

한 줄 요약

이 논문은 PAC-베이지안 학습에서 사용되는 게브스 사후분포의 변분 베이즈(VB) 근사가 농도 부등식이 성립하고 진짜 사후분포와 근사 사후분포 간의 KL 발산이 제어되는 조건 하에서 원래의 계산이 어려운 사후분포와 동일한 수렴 속도를 달성함을 입증한다. 이 방법은 이론적 성능 보장을 유지하면서도 대규모 데이터셋에서 빠르고 확장 가능한 추론을 가능하게 한다.

ABSTRACT

The PAC-Bayesian approach is a powerful set of techniques to derive non- asymptotic risk bounds for random estimators. The corresponding optimal distribution of estimators, usually called the Gibbs posterior, is unfortunately intractable. One may sample from it using Markov chain Monte Carlo, but this is often too slow for big datasets. We consider instead variational approximations of the Gibbs posterior, which are fast to compute. We undertake a general study of the properties of such approximations. Our main finding is that such a variational approximation has often the same rate of convergence as the original PAC-Bayesian procedure it approximates. We specialise our results to several learning tasks (classification, ranking, matrix completion),discuss how to implement a variational approximation in each case, and illustrate the good properties of said approximation on real datasets.

연구 동기 및 목표

• 변분 베이즈(VB) 근사의 이론적 보장을 확립하기 위해 게브스 사후분포의 PAC-베이지안 학습에서의 이론적 보장을 확립한다.
• 적절한 농도 조건 하에서 VB 근사가 원래 게브스 사후분포와 동일한 수렴 속도를 유지함을 보여준다.
• 다양한 학습 과제에 걸쳐 VB 근사를 구현하기 위한 실용적 알고리즘과 경험적 경계를 제공한다.
• 대규모 게브스 사후분포 추론에서 MCMC의 기본 대안으로 VB를 제안한다.
• 분류, 랭킹, 행렬 완성 등 응용 분야로 이론적 결과를 확장한다.

제안 방법

• 예측 위험에 대한 상한을 최소화하는 PAC-베이지안 분포로서 게브스 사후분포를 정식화한다.
• 기대값 기반의 평균장 가족 분포를 사용하여 계산이 어려운 게브스 사후분포를 변분 추론으로 근사한다.
• 호프딩형 및 버닝스타인형 농도 부등식 하에서 진짜 게브스 사후분포와 VB 근사 간의 KL 발산에 대한 이론적 경계를 유도한다.
• 잠재 변수와 초모수에 대한 분해된 사후분포를 조건부 기대값을 사용하여 반복적으로 갱신하는 변분 알고리즘을 제안한다.
• VB 근사된 추정기의 성능을 평가하기 위해 데이터로부터 계산 가능한 경험적 경계를 도입한다.
• 분류, 볼록 분류, 랭킹, 행렬 완성에 대해 특화된 변분 가족과 사전분포를 사용하여 일반 프레임워크를 특수화한다.

실험 결과

연구 질문

• RQ1 게브스 사후분포의 변분 베이즈 근사는 원래의 PAC-베이지안 추정기와 동일한 수렴 속도를 유지할 수 있는가?
• RQ2 위험 함수와 농도 부등식에 어떤 조건이 성립할 경우 VB 근사가 최적의 수렴 속도를 유지하는가?
• RQ3 분류 및 행렬 완성과 같은 실용적 학습 과제에서 변분 근사는 어떻게 효율적으로 구현할 수 있는가?
• RQ4 데이터로부터 계산 가능한 경험적 경계는 무엇이며, 이는 VB 근사된 게브스 사후분포의 성능을 검증하는 데 어떻게 기여하는가?
• RQ5 대규모 게브스 사후분포 추론에서 MCMC의 확장 가능한 대안으로 VB 접근법이 이론적으로 타당한가?

주요 결과

• 호프딩형 농도 부등식 조건 하에서, 변분 근사는 원래 게브스 사후분포와 동일한 느린 수렴 속도를 달성한다.
• 버닝스타인형 농도 부등식 조건 하에서, 변분 근사는 원래 게브스 사후분포와 동일한 빠른 수렴 속도를 달성한다.
• 행렬 완성 문제에서는 진짜 사후분포와 VB 근사 간의 KL 발산이 $\mathcal{C}(a,C)\left\{r(m_{1}+m_{2})\log\left[\beta b(m_{1}+m_{2})K\right]+\frac{1}{\beta}\right\}$ 로 유계이므로 수렴 속도 일致성이 보장된다.
• 행렬 완성에 대한 VB 근사는 $\mathcal{O}\left(\frac{r(m_{1}+m_{2})\log[nb(m_{1}+m_{2})K]}{n}\right)$ 의 속도를 달성하며, 이는 로그 요소를 제외한 알려진 최소최대 하한과 일치한다.
• 이론적 결과에 따르면, 게브스 사후분포가 로그 항을 제외한 최소최대 최적이라면, 동일한 조건 하에서 VB 근사 역시 최소최대 최적임이 유추된다.
• VB 근사된 추정기의 위험에 대한 경험적 경계는 데이터로부터 직접 계산 가능하므로, 진짜 값이 없더라도 성능 평가가 가능하다.