[논문 리뷰] Variational Bayes under Model Misspecification

Zhaoran Wang, David M. Blei|arXiv (Cornell University)|2019. 05. 26.

Statistical Methods and Bayesian Inference참고 문헌 8인용 수 4

한 줄 요약

이 논문은 모형 오특정 하에서 변분 베이즈(VB)의 점근적 빈도주의 성질을 수립하며, VB 사후분포와 그 평균이 진정한 데이터 생성 분포 p₀(x)로의 쿨백-라이블러(KL) 발산을 최소화하는 매개수 값에서 집중함을 증명한다. 또한 모형 오특정 오차가 예측 분포에서 변분 근사 오차를 지배함을 보이며, 이는 근사화에도 불구하고 VB의 뛰어난 경험적 성능을 설명한다.

ABSTRACT

Variational Bayes (VB) is a scalable alternative to Markov chain Monte Carlo (MCMC) for Bayesian posterior inference. Though popular, VB comes with few theoretical guarantees, most of which focus on well-specified models. However, models are rarely well-specified in practice. In this work, we study VB under model misspecification. We prove the VB posterior is asymptotically normal and centers at the value that minimizes the Kullback-Leibler (KL) divergence to the true data-generating distribution. Moreover, the VB posterior mean centers at the same value and is also asymptotically normal. These results generalize the variational Bernstein--von Mises theorem [29] to misspecified models. As a consequence of these results, we find that the model misspecification error dominates the variational approximation error in VB posterior predictive distributions. It explains the widely observed phenomenon that VB achieves comparable predictive accuracy with MCMC even though VB uses an approximating family. As illustrations, we study VB under three forms of model misspecification, ranging from model over-/under-dispersion to latent dimensionality misspecification. We conduct two simulation studies that demonstrate the theoretical results.

연구 동기 및 목표

• 실제로 흔히 발생하는 가정된 통계 모형이 오특정된 경우 변분 베이즈(VB)의 이론적 행동을 이해하는 것.
• 오특정 모형으로의 변분 베르누이-폰 뉴만 정리의 확장으로, VB 사후분포와 그 평균에 대한 점근적 정규성 결과를 제공하는 것.
• VB의 예측 오차에 있어 모형 오특정과 변분 근사의 상대 기여도를 정량화하는 것.
• 과도/저도산도 및 잠재 차원 오류를 포함한 다양한 형태의 모형 오특정 하에서 이론적 결과를 시뮬레이션을 통해 검증하는 것.

제안 방법

• 평균장 변분 가족의 분해 가능 밀도를 중심으로, 점근적 빈도주의 도구를 사용한 오특정 하에서 VB의 이론적 분석.
• VB 사후분포와 VB 사후분포 평균의 점근적 분포를 도출하며, θ*인 KL 최소화자에서 점질량으로의 수렴을 보여주는 것.
• 오특정 하에서 변분 목표 함수의 수렴을 확보하기 위해 Γ-수렴 기법의 사용.
• 국소 라플라스 근사와 농도 부등식을 통해 θ* 주위에서 스케일 조정된 VB 사후분포와 VB 사후분포 평균의 점근적 정규성 도출.
• KL 발산을 사용하여 예측 오차의 분해를 모형 오특정과 변분 근사 성분으로 나누어 비교하는 것.
• 이론적 결과의 검증을 위해 스탠(Stan)의 HMC 및 VB 구현을 사용한 시뮬레이션 연구, 통제된 오특정 상황 하에서 수행.

실험 결과

연구 질문

• RQ1 모형 오특정 하에서 VB 사후분포는 여전히 의미 있는 목표 매개수 값에 집중하는가?
• RQ2 VB 사후분포 평균은 점근적으로 정규분포를 띠는가? 그리고 VB 사후분포와 같은 극한값으로 수렴하는가?
• RQ3 모형 오특정 오차와 변분 근사 오차는 VB 사후예측 성능에 어떻게 기여하는가?
• RQ4 변분 베르누이-폰 뉴만 정리는 오특정 모형으로 일반화될 수 있는가?
• RQ5 과도/저도산도 또는 잘못된 잠재 차원 오류와 같은 다양한 형태의 모형 오특정 하에서 VB 사후분포의 점근적 행동은 어떻게 되는가?

주요 결과

• VB 사후분포는 점근적으로 진짜 데이터 생성 분포 p₀(x)로의 쿨백-라이블러 발산을 최소화하는 매개수 값 θ*에 집중한다.
• VB 사후분포 평균 역시 거의 확실히 θ*로 수렴하며, 이 점 주위에서 점근적으로 정규분포를 이룬다.
• 스케일 조정된 VB 사후분포 √n(θ − θ*)은 평균이 0이고, 모형의 피셔 정보 행렬에 의해 결정되는 공분산 행렬을 가진 정규분포로 수렴한다.
• VB 사후예측 분포에서, 모형 오특정으로 인한 오차가 변분 근사로 인한 오차를 지배하며, 이는 VB의 뛰어난 예측 정확도를 설명한다.
• 이론적 결과는 두 가지 시뮬레이션 연구를 통해 검증되었으며, 과도/저도산도 및 잠재 차원 오류를 포함한 다양한 오특정 유형에서 일관된 수렴과 예측 성능을 보였다.
• 정규 조건 하에서 변분 목표 함수의 Γ-수렴이 확립되었으며, 이는 최소화자들이 KL 최소화자 θ*로 수렴함을 증명한다.