[논문 리뷰] Concentration of tempered posteriors and of their variational approximations

Pierre Alquier, James Ridgway|arXiv (Cornell University)|2017. 06. 28.

Bayesian Methods and Mixture Models인용 수 4

한 줄 요약

이 논문은 온도 조정된 사후분포의 변분 베이즈(VB) 근사에 대해 일반적인 오라클 부등식을 수립하여, 미묘한 조건 하에서 VB 수렴 속도가 온도 조정된 사후분포의 속도와 일치함을 보여준다. 이는 매개변수 모형, 고차원 모형(행렬 완성), 비모수 모형(밀도 추정)에 대해 명시적인 집중 속도를 도출하며, 로그-립시츠 조건을 만족하는 우도 함수와 유계 손실 함수를 가진 경우, PAC-베이지안 도구를 통해 이론적 보장을 제공한다.

ABSTRACT

While Bayesian methods are extremely popular in statistics and machine learning, their application to massive datasets is often challenging, when possible at all. Indeed, the classical MCMC algorithms are prohibitively slow when both the model dimension and the sample size are large. Variational Bayesian methods aim at approximating the posterior by a distribution in a tractable family. Thus, MCMC are replaced by an optimization algorithm which is orders of magnitude faster. VB methods have been applied in such computationally demanding applications as including collaborative filtering, image and video processing, NLP and text processing... However, despite very nice results in practice, the theoretical properties of these approximations are usually not known. In this paper, we propose a general approach to prove the concentration of variational approximations of fractional posteriors. We apply our theory to two examples: matrix completion, and Gaussian VB.

연구 동기 및 목표

• 대규모 베이지안 추론에서 MCMC가 비현실적일 경우 변분 베이즈(VB) 근사에 대한 이론적 보장을 제공하는 것.
• 기존 사후분포에서의 집중 속도 분석을 온도 조정된(분수형) 사후분포로 확장하여, 고차원 또는 모형이 잘못 설정된 상황에서도 더 강건한 성능을 확보하는 것.
• VB 근사 품질이 사전 선택과 변분 가족의 구조에 어떻게 연결되는지를 보여주는 일반적인 오라클 부등식을 유도하는 것.
• VB 근사가 온도 조정된 사후분포와 동일한 집중 속도를 달성할 수 있는 조건을 설정하는 것.
• 매개변수 모형, 고차원 모형(행렬 완성), 비모수 모형(밀도 추정)에 이 те론을 검증하는 것.

제안 방법

• VB 근사와 온도 조정된 사후분포 사이의 기대 거리가 KL 발산과 사전 및 모형의 로그우도 구조에 따라 유계지다는 일반적인 오라클 부등식을 제안한다.
• 우도 함수가 무한대일 수 있는 경우에 대해, 이전의 유계 손실 프레임워크를 넘어서, PAC-베이지안 부등식을 사용하여 가짜 사후분포의 VB 근사를 분석한다.
• 0 < β < 1 인 $ L^eta( heta) $ 를 통해 온도 조정된 사후분포를 도입하여, 집중 성질을 향상시키고 정규성 조건을 완화한다.
• 오라클 부등식을 적용하여, 로그-립시츠 우도 함수와 변분 목표 함수의 유계 기울기 조건 하에서 수렴 속도를 도출한다.
• 변분 목표 함수의 효율적 계산을 위해 온라인 확률적 경사 하강법(SGD)과 평균화를 활용하며, 볼록 최적화 이론에서 유도된 리그레트 경계를 제공한다.
• 브레그만 발산과 KL 발산을 사용하여 사후분포 집중을 정량화하고, 변분 근사 오차를 모형 복잡성과 사전 정보와 연결한다.

실험 결과

연구 질문

• RQ1 어떤 조건 하에서 온도 조정된 사후분포의 변분 베이즈 근사는 진짜 온도 조정된 사후분포와 동일한 속도로 집중하는가?
• RQ2 VB 근사 이론에서 무한대 로그우도를 다룰 수 있도록 PAC-베이지안 도구를 어떻게 조정할 수 있는가?
• RQ3 로그-립시츠 우도 함수를 가진 매개변수 모형에서 VB의 이론적 수렴 속도는 무엇인가?
• RQ4 매우 미묘한 조건 하에서 고차원 모형, 예를 들어 행렬 완성 문제에서 VB가 일致성 추정을 달성할 수 있는가?
• RQ5 밀도 추정에 사용되는 가우시안 믹스처나 커널 방법과 같은 비모수 모형에서 VB에 대한 이론적 보장은 무엇인가?

주요 결과

• 논문은 VB 근사의 품질이 사전과 변분 가족 $ \tilde{\rho} $ 의 구조에 어떻게 영향을 받는지를 보여주는 일반적인 오라클 부등식을 도출한다. 이는 근사 오차가 사전으로부터의 KL 발산과 모형의 우도 구조에 의해 제어됨을 보여준다.
• 로그-립시츠 우도 함수를 가진 매개변수 모형에서는 VB 근사가 온도 조정된 사후분포와 동일한 집중 속도를 달성하여 일관성과 효율성을 보장한다.
• 고차원 행렬 완성 문제에서는 VB 근사가 $ O\big(\frac{d \text{rank}(X)}{n}\big) $ 의 속도를 달성하며, 미묘한 가정 하에서 알려진 최소 최대 속도와 일치한다.
• 비모수 밀도 추정에서는 적절한 매끄러움 조건과 사전 정규성 조건 하에서 VB 근사가 $ O(n^{-\frac{1}{2}}) $ 의 속도를 달성한다.
• VB 알고리즘에서 온라인 SGD와 평균화를 사용함으로써 리그레트 경계가 $ O(\frac{1}{\tau^{1/2}}) $ 로 유도되며, 이는 변분 목표 함수의 기대값에서 $ O(\frac{1}{\tau^{1/2}}) $ 의 수렴 속도로 해석된다.
• 이론은 이전의 유계 손실 함수에 국한된 연구의 한계를 넘어, 새로운 PAC-베이지안 경계의 적응을 통해 무한대 우도 함수에도 적용 가능하다.