[논문 리뷰] Validated Variational Inference via Practical Posterior Error Bounds

Jonathan H. Huggins, Mikołaj J. Kasprzak외 2명|arXiv (Cornell University)|2019. 10. 09.

Gaussian Processes and Bayesian Inference참고 문헌 53인용 수 9

한 줄 요약

이 논문은 변분 추론에서 사후 평균과 불확실성 추정치에 대해 계산적으로 효율적이고 이론적으로 타당한 오차 한계를 제안한다. ELBO, CUBO, 다항모멘트를 활용하여 직접적으로 근사 품질을 평가하는 엄밀하고 자동화된 한계를 제공함으로써, 작은 값일지라도 오차를 잘못 해석할 수 있는 기존의 분산 기반 측정치의 한계를 극복한다.

ABSTRACT

Variational inference has become an increasingly attractive fast alternative to Markov chain Monte Carlo methods for approximate Bayesian inference. However, a major obstacle to the widespread use of variational methods is the lack of post-hoc accuracy measures that are both theoretically justified and computationally efficient. In this paper, we provide rigorous bounds on the error of posterior mean and uncertainty estimates that arise from full-distribution approximations, as in variational inference. Our bounds are widely applicable, as they require only that the approximating and exact posteriors have polynomial moments. Our bounds are also computationally efficient for variational inference because they require only standard values from variational objectives, straightforward analytic calculations, and simple Monte Carlo estimates. We show that our analysis naturally leads to a new and improved workflow for validated variational inference. Finally, we demonstrate the utility of our proposed workflow and error bounds on a robust regression problem and on a real-data example with a widely used multilevel hierarchical model.

연구 동기 및 목표

• 이론적으로 타당하고 계산적으로 효율적인 후행 정확도 측정치가 부족한 변분 추론을 해결하기 위해, 이론적으로 근거가 있고 계산적으로 효율적인 후행 정확도 측정치를 제공하는 것.
• 기존 방법이 KL 또는 α-분산과 같은 분산에 의존하는 한계를 극복하여, 사후 평균과 분산 추정치가 매우 부정확할지라도 값이 작을 수 있는 문제를 해결하는 것.
• 분포 간의 분산이 아닌, 핵심 사후 출력물인 사후 평균과 불확실성의 오차를 직접적으로 측정하는 한계를 개발하는 것.
• 실제 응용 베이지안 모델링 워크플로우에서 변분 추론 결과를 자동으로 실용적으로 검증할 수 있도록 하는 것.
• 오차 한계를 표준 추론 파이프라인에 통합한 검증 가능한 변분 추론의 새로운 워크플로우를 제공하는 것.

제안 방법

• α-분산과 모멘트 조건을 사용하여 진짜 사후와 변분 사후 간의 워샤프스키 거리에 대한 한계를 유도하는 것.
• 다항모멘트 가정을 통해 척도 민감한 워샤프스키 거리와 척도 무관한 α-분산 간의 관계를 설정하는 것.
• 표준 변분 목표 함수인 ELBO와 CUBO를 사용하여 α-분산(예: KL, α-분산)에 대한 한계를 표현하는 것.
• 몬테카를로 추정과 해석적 계산을 사용하여 MCMC 없이도 효율적으로 한계를 계산하는 것.
• 모든 구성 요소를 통합하여 변분 추론 중 또는 이후에 오차 한계 계산을 위한 실용적인 종단 간 워크플로우를 만드는 것.
• 실제 모델, 예를 들어 강건한 회귀와 다수준 계층 모델에 프레임워크를 적용하여 그 유용성을 검증하는 것.

실험 결과

연구 질문

• RQ1 변분 추론에서 사후 평균과 분산 추정치의 오차에 대해 이론적으로 엄밀하고 계산적으로 효율적인 한계를 제공할 수 있는가?
• RQ2 표준 변분 목표 함수인 ELBO와 CUBO가 분포 간의 분산이 아닌 실제 사후 추정치의 오차와 어떻게 관련되어 있는가?
• RQ3 표준 변분 추론 출력물과 모멘트 조건만으로 사후 평균과 불확실성의 오차를 한정할 수 있는가?
• RQ4 꼬리 행동(예: 다항모멘트 vs. 지수모멘트)이 유도된 오차 한계의 날카로움에 어떤 영향을 미치는가?
• RQ5 제안된 한계를 사용하여 실용적이고 자동화된 워크플로우를 구축하여 적용 베이지안 모델링에서 변분 추론 결과를 검증할 수 있는가?

주요 결과

• 제안된 한계는 변분 추론에서 사후 평균과 불확실성에 대해 엄밀하고 자동화되며 계산적으로 효율적인 오차 추정치를 제공하는 최초의 것임.
• 한계는 ELBO, CUBO, 다항모멘트와 같은 표준 변분 추론 출력물에서 유도되어 실제 응용에 실용적임.
• KL 분산이 작을지라도 사후 평균과 분산 추정치는 임의로 부정확할 수 있으며, 이는 분산 측정치가 아닌 직접적인 오차 한계의 필요성을 입증함.
• 지수모멘트가 존재할 경우 더 날카로운 한계를 달성하여 더 강한 꼬리 가정 하에서 성능 향상을 보임.
• 강건한 회귀 문제와 다수준 계층 모델에 대한 실증 검증을 통해 오차 한계가 열악한 근사치를 탐지하는 데 실용적인 유용성을 확인함.
• 공개된 파이썬 패키지(viabel)를 통해 블랙박스 변분 추론과 오차 한계 계산을 위한 종단 간 구현이 가능해졌음.