[논문 리뷰] Convergence Rates of Variational Posterior Distributions

Fengshuo Zhang, Chao Gao|arXiv (Cornell University)|2017. 12. 07.

Statistical Methods and Inference참고 문헌 40인용 수 10

한 줄 요약

이 논문은 비모수적 및 고차원 모델에서 변분 사후 분포의 수렴 속도를 도출하기 위해 사전분포, 우도, 변분 클래스에 대한 일반 조건을 설정한다. 수렴 속도는 진짜 사후 분포의 수렴 속도와 변분 근사 오차 항의 합이며, 혼합-곱 사전분포에 대한 새로운 사전 질량 조건 하에서 이 오차는 통계적 속도에 의해 지배되며, 이는 평균형 변분 추론의 최적 성능을 보장한다.

ABSTRACT

We study convergence rates of variational posterior distributions for nonparametric and high-dimensional inference. We formulate general conditions on prior, likelihood, and variational class that characterize the convergence rates. Under similar "prior mass and testing" conditions considered in the literature, the rate is found to be the sum of two terms. The first term stands for the convergence rate of the true posterior distribution, and the second term is contributed by the variational approximation error. For a class of priors that admit the structure of a mixture of product measures, we propose a novel prior mass condition, under which the variational approximation error of the mean-field class is dominated by convergence rate of the true posterior. We demonstrate the applicability of our general results for various models, prior distributions and variational classes by deriving convergence rates of the corresponding variational posteriors.

연구 동기 및 목표

• 비모수적 및 고차원 추론 문제에서 변분 사후 분포의 이론적 수렴 속도를 확립하기.
• 진짜 데이터 생성 분포로의 변분 사후 수렴을 보장하는 사전, 우도, 변분 클래스에 대한 일반 조건을 규명하기.
• 혼합-곱 사전분포에 특화된 새로운 사전 질량 조건 하에서 변분 근사 오차가 진짜 사후의 통계적 오차에 의해 지배됨을 보여주기.
• 밀도 추정, 가우시안 시퀀스 모델, 조각별로 일정한 모델 등 다양한 모델에 이 프레임워크의 적용 가능성을 보여주기.
• 실험 베이즈와 변분 베이즈 간의 이론적 연결을 평균형 근사에 의해 드러내기.

제안 방법

• 논문은 변분 사후의 일반 수렴 속도 경계를 다음과 같이 제시한다: $ \epsilon_n^2 + \frac{1}{n} \inf_{Q \in \mathcal{S}} P_0^{(n)} D(Q \| \Pi(\cdot|X^{(n)})) $, 여기서 $ \epsilon_n^2 $ 는 진짜 사후 속도이고 두 번째 항은 변분 근사 오차이다.
• 혼합-곱 사전분포에 대한 새로운 사전 질량 조건을 도입한다: $ \Pi(\otimes_j \widetilde{\Theta}_j) \geq \exp(-C_2 n \epsilon_n^2) $, 이 조건 하에서 변분 오차는 진짜 사후 속도에 의해 지배된다.
• 사후 수축 이론에서 유래한 '사전 질량과 검정' 프레임워크를 활용하며, 이는 동일한 세 가지 핵심 조건인 사전 질량, 검정, 지지역을 유지하면서 변분 추론에 적응시킨다.
• 평균형 변분 클래스 $ \mathcal{S}_{\rm MF} $ 에 대해, 사전이 새로운 조건을 만족할 경우 근사 오차가 제어됨을 보여주며, 이는 변분 사후가 진짜 사후와 동일한 속도를 달성함을 보장한다.
• 특정한 변분 클래스를 설계함으로써 실험 베이즈 절차가 변분 베이즈와 동일시됨을 보여주며, 이는 두 절차 간의 공통된 이론적 성질을 시사한다.
• 이 프레임워크를 구체적인 모델에 적용하여, 가우시안 시퀀스 모델과 조각별로 일정한 모델에서 제안된 조건 하에 명시적인 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 변분 사후가 진짜 매개변수로 수렴하는 속도가 진짜 사후와 유사하게 되는 조건은 무엇인가?
• RQ2 변분 근사 오차를 진짜 사후의 통계적 오차에 비해 무시할 수 있도록 만들 수 있는가?
• RQ3 어떻게 사전을 구성해야 평균형 변분 추론이 최적의 수렴 속도를 달성할 수 있는가?
• RQ4 실험 베이즈와 변분 베이즈 절차 사이의 이론적 관계는 무엇인가?
• RQ5 '사전 질량과 검정' 프레임워크를 변분 사후 분석으로 확장할 수 있는가, 그리고 최소한의 수정으로 가능할까?

주요 결과

• 변분 사후의 수렴 속도는 $ \epsilon_n^2 + \frac{1}{n} \inf_{Q \in \mathcal{S}} P_0^{(n)} D(Q \| \Pi(\cdot|X^{(n)})) $ 로 경계되며, 첫 번째 항은 진짜 사후 속도이고 두 번째 항은 변분 근사 오차이다.
• 혼합-곱 사전분포와 평균형 변분 클래스에 대해, 사전가 조건 $ \Pi(\otimes_j \widetilde{\Theta}_j) \geq \exp(-C_2 n \epsilon_n^2) $ 를 만족할 경우 근사 오차는 진짜 사후 속도에 의해 지배된다.
• 희소성 유도 사전을 사용한 가우시안 시퀀스 모델에서 변분 사후는 $ \min_k \left\{ \|\theta^* - \theta_0\|^2 + k \log n \right\} $ 의 속도를 달성하며, 이는 최적의 사후 속도와 일치한다.
• 논문은 실험 베이즈 절차가 특별히 설계된 변분 클래스를 사용한 변분 베이즈와 동일시됨을 보여주며, 이는 공통된 이론적 성질을 가짐을 시사한다.
• 조건 $ \Pi(\otimes_j \widetilde{\Theta}_j) \geq \exp(-C_2 n \epsilon_n^2) $ 는 변분 오차가 무시 가능해지기 위한 필수 및 충분 조건이며, 실무에서 쉽게 검증할 수 있다.
• 이 프레임워크는 밀도 추정 및 조각별로 일정한 모델을 포함한 광범위한 응용에 적용 가능하며, 새로운 사전 질량 조건 하에서 변분 사후는 최소화된 최적 속도를 달성한다.