[논문 리뷰] Statistical Inference in Mean-Field Variational Bayes

Wei Han, Yun Yang|arXiv (Cornell University)|2019. 11. 04.

Bayesian Methods and Mixture Models참고 문헌 45인용 수 8

한 줄 요약

이 논문은 잠재변수를 가진 정규 모수 모델에서 평균장 변분 베이즈의 비점근 이론적 보장을 수립하며, 평균장 근사 중심이 고차항을 제외한 최대우도추정량(MLE)으로 수렴함을 보여준다. 이와 함께 MCMC의 튜닝이 필요 없고 병렬 처리가 가능한 사후분포 근사에 적합한 새로운 변분 가중우도부트스트랩(VWLB) 방법을 제안하여 불확실성 정량화를 가능하게 한다.

ABSTRACT

We conduct non-asymptotic analysis on the mean-field variational inference for approximating posterior distributions in complex Bayesian models that may involve latent variables. We show that the mean-field approximation to the posterior can be well-approximated relative to the Kullback-Leibler divergence discrepancy measure by a normal distribution whose center is the maximum likelihood estimator (MLE). In particular, our results imply that the center of the mean-field approximation matches the MLE up to higher-order terms and there is essentially no loss of efficiency in using it as a point estimator for the parameter in any regular parametric model with latent variables. We also propose a new class of variational weighted likelihood bootstrap (VWLB) methods for quantifying the uncertainty in the mean-field variational inference. The proposed VWLB can be viewed as a new sampling scheme that produces independent samples for approximating the posterior. Comparing with traditional sampling algorithms such Markov Chain Monte Carlo, VWLB can be implemented in parallel and is free of tuning.

연구 동기 및 목표

• 잠재변수를 가진 모델에서 평균장 변분 베이즈에 대한 비점근 이론적 근거를 제공하기 위해.
• 정규 모수 모델에서 잠재변수를 가진 경우 평균장 근사가 MLE 대비 통계적 효율성이 어떻게 되는지 조사하기 위해.
• MCMC 튜닝을 피하고 병렬 계산이 가능한 불확실성 정량화를 위한 새로운 방법을 개발하기 위해.
• 진짜 변분 사후분포와 평균장 근사 간의 쿨백-라이블러(KL) 발산에 대한 이론적 경계를 설정하기 위해.

제안 방법

• 최대우도추정량(MLE) 중심의 정규분포와 평균장 근사 $ Q_{\theta} $ 간의 KL 발산에 대한 비점근 경계를 유도한다.
• 관측된 정보와 누락된 정보 성분으로 분해된 피셔 정보행렬($ I_c(\theta^*) = I(\theta^*) + I_s(\theta^*) $)를 사용하여 오차를 분석한다.
• 변분 목표함수를 MLE 주변에서 이차 테일러 전개하여 평균장 중심이 $ O(\alpha_n) $ 오차 범위 내에서 MLE에 가까워짐을 보인다.
• 변분 가중우도부트스트랩(VWLB)을 도입하여 튜닝 없이 독립적인 샘플을 변분 사후분포에서 생성하는 새로운 샘플링 기법을 제안한다.
• VWLB 샘플이 점근적으로 사후분포 근사에 유효하며 병렬 처리가 가능함을 증명한다.
• KL 발산 항등식과 하위가우시안 尾 확률 가정을 조합하여 평균장 근사와 진짜 변분 사후분포 간의 거리에 대한 경계를 설정한다.

실험 결과

연구 질문

• RQ1 진짜 사후분포에 대해 평균장 근사가 KL 발산 기준으로 얼마나 잘 근사되는가?
• RQ2 정규 모수 모델에서 잠재변수를 가진 경우 평균장 근사 중심이 MLE에 비해 통계적으로 효율적인가?
• RQ3 MCMC에 의존하지 않고 변분 추론에서 불확실성 정량화를 위한 새로운 샘플링 방법을 구성할 수 있는가?
• RQ4 진짜 사후분포가 완전히 분해되지 않은 경우 평균장 근사의 비점근 이론적 성질은 무엇인가?
• RQ5 잠재변수가 존재할 경우 변분 목표함수는 MLE와 관측된 피셔 정보행렬과 어떻게 관련되어 있는가?

주요 결과

• 평균장 근사 중심 $ \mu_{\widehat{Q}_\theta} $ 는 $ \alpha_n $ 에 의해 제어되는 속도로 최대우도추정량 $ \widehat{\theta}_{\text{MLE}} $ 로 수렴하며, $ n(\mu_{\widehat{Q}_\theta} - \widehat{\theta}_{\text{MLE}})^T I_s(\theta^*) (\mu_{\widehat{Q}_\theta} - \widehat{\theta}_{\text{MLE}}) \leq C\alpha_n $ 를 만족한다.
• 평균장 근사 $ \widehat{Q}_\theta $ 와 진짜 변분 사후분포 $ Q^*_{VB} $ 간의 KL 발산은 $ C'\alpha_n $ 이하로 경계지어지며, 높은 정확도를 나타낸다.
• 평균장 근사는 MLE 중심에 놓인 정규분포와 $ [nI(\theta^*)]^{-1} $ 공분산을 가진다. 이는 작은 오차 항을 제외한 근사로 간주된다.
• 변분 가중우도부트스트랩(VWLB)은 튜닝 없이 독립적이고 유효한 사후분포 샘플을 생성하며, 병렬 계산이 가능하다.
• 평균장 근사와 MLE 중심 정규타겟 간의 KL 발산은 $ O(\alpha_n) $ 이하로 경계지어지며, MLE가 좋은 중심임을 확인한다.
• MCMC나 복잡한 튜닝 없이도 추정 일치성과 불확실성 정량화를 달성하여 대규모 모델에 적합하다.