[논문 리뷰] Variational Boosting: Iteratively Refining Posterior Approximations

Andrew C. Miller, Nicholas J. Foti외 1명|arXiv (Cornell University)|2016. 11. 20.

Advanced Multi-Objective Optimization Algorithms인용 수 62

한 줄 요약

이 논문은 복잡한 사후 분포 형태를 더 잘 포착하기 위해 구조화된 성분—처음에는 평균장, 그 다음에는 저랭크, 마지막으로 혼합 성분—을 반복적으로 추가함으로써 사후 근사값을 점진적으로 향상시키는 순차적 변분 추론 방법인 Variational Boosting를 소개한다. 이 방법은 평균장 VI보다 훨씬 더 정확한 사후 추정을 달성하며, 계층적 이항분포, 포isson GLM, 베이지안 신경망 모델에서 MCMC의 정확도에 근접한다. 특히 비정규 분포의 상관관계와 이방성 분산을 모델링하는 데서 뛰어난 성능을 보인다.

ABSTRACT

We propose a black-box variational inference method to approximate intractable distributions with an increasingly rich approximating class. Our method, termed variational boosting, iteratively refines an existing variational approximation by solving a sequence of optimization problems, allowing the practitioner to trade computation time for accuracy. We show how to expand the variational approximating class by incorporating additional covariance structure and by introducing new components to form a mixture. We apply variational boosting to synthetic and real statistical models, and show that resulting posterior inferences compare favorably to existing posterior approximation algorithms in both accuracy and efficiency.

연구 동기 및 목표

• 고차원적이고 비공액인 모델에서 평균장 변분 추론이 복잡한 사후 의존성을 포착하는 데 한계가 있음을 해결하기 위해.
• 구조화된 성분(대각형, 저랭크, 혼합 정규분포)을 반복적으로 추가함으로써 사후 근사를 개선하는 확장 가능한 순차적 방법을 개발하기 위해.
• 순차적 성분 추가가 계산 효율성을 유지하면서도 MCMC 수준의 모멘트 추정 정확도를 달성할 수 있는지 평가하기 위해.
• 다양한 모델들—계층적 이항 회귀, 포isson GLM, 베이지안 신경망—에서 이 방법의 효과성을 입증하기 위해.

제안 방법

• 모든 새로운 성분이 사후 근사를 향상시키는 순차 최적화 프레임워크를 사용하며, 기초로 평균장 근사를 시작한다.
• 각 새로운 성분은 특정한 구조를 가진 다변수 정규분포이다: 처음에는 대각행렬 공분산, 그 다음에는 저랭크(랭크-1에서 랭크-3까지), 마지막으로 이러한 성분들의 혼합분포이다.
• 각 새로운 성분의 파라미터는 자동 미분(autograd)을 활용한 확률적 경사하강법으로 최적화되며, 기울기 추정을 위해 400개의 샘플을 사용한다.
• 각 단계에서 기댓값 하한식(ELBO)을 최대화하며, 새로운 성분이 진정한 사후 분포의 근사를 향상시킨다.
• 모든 실험에서 사후 모멘트의 기준으로 No-U-Turn Sampler(NUTS)를 사용한다.
• 이 방법은 세 가지 실제 모델에 적용된다: 20차원의 계층적 이항 모델, 37차원의 포isson GLM, 50개의 은닉 유닛을 가진 베이지안 신경망.

실험 결과

연구 질문

• RQ1 구조화된 성분을 통해 변분 근사를 반복적으로 개선하는 것이 평균장 VI를 초월한 사후 추정을 가능하게 하는가?
• RQ2 저랭크 및 혼합 정규분포 성분이 계층 모델에서 비정규 사후 상관관계를 어느 정도 잘 포착할 수 있는가?
• RQ3 부스팅 순서에서 각 성분이 추가될 때 모멘트 추정치(분산 및 공분산)의 정확도는 어떻게 향상되는가?
• RQ4 베이지안 신경망과 같은 복잡하고 고차원적인 모델에서 Variational Boosting가 MCMC 수준의 사후 근사를 달성하는가?

주요 결과

• 계층적 이항 모델에서 Variational Boosting는 NUTS의 사후 주변확률과 매우 유사했으며, 단변량 및 이변량 분포 모두에서 평균장 VI보다 뚜렷이 뛰어난 성능을 보였다.
• 20차원의 야구 모델에서는 성분을 추가할수록 공분산 추정 오차가 점차 감소했으며, 최종 근사는 MCMC 기반 추정치와 매우 유사했다.
• 37차원의 포isson GLM에서는 정규분포 성분의 랭크를 0에서 3으로 증가시킴으로써 주변 분산 추정치가 향상되었고, 혼합 성분을 추가함으로써 오차가 더욱 감소했으며, 특히 고상관관계 방향에서 뚜렷한 개선이 있었다.
• 프리스크 모델에서 랭크-3 혼합 성분을 통합함으로써 주변 표준편차의 최대 과소추정률이 약 15%에서 5% 이하로 감소했다.
• 쌍별 공분산에 대해서도 각 성분 추가에 따라 근사 정확도가 향상되었으며, 8개 성분의 혼합 모델은 MCMC 추정치와 높은 상관관계를 보였다.
• 베이지안 신경망에서는 Variational Boosting가 Probabilistic Backpropagation(PBP)와 비교해 유사한 예측 성능을 달성했으며, 이는 고차원이고 비공액 조건에서의 적용 가능성임을 입증했다.