[논문 리뷰] Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence

Ghassen Jerfel, Serena L Wang외 4명|arXiv (Cornell University)|2021. 07. 27.

Machine Learning and Algorithms인용 수 10

한 줄 요약

이 논문은 후행 분포보다 더 무거운 꼬리(heavy tails)를 가진 제안 분포를 구성하기 위해 정방향 Kullback-Leibler 발산을 최소화하는 새로운 변분 정련 방법을 제안한다. 이 방법은 渐近적 일致성과 최적의 중요도 샘플링 추정 및 변분 근사에 대한 더 빠른 수렴을 보장하며, RKL 기반 방법보다 우수하고 실제 데이터에서 변분 부스팅 및 MCMC와 경쟁 가능한 성능을 보인다.

ABSTRACT

Variational Inference (VI) is a popular alternative to asymptotically exact sampling in Bayesian inference. Its main workhorse is optimization over a reverse Kullback-Leibler divergence (RKL), which typically underestimates the tail of the posterior leading to miscalibration and potential degeneracy. Importance sampling (IS), on the other hand, is often used to fine-tune and de-bias the estimates of approximate Bayesian inference procedures. The quality of IS crucially depends on the choice of the proposal distribution. Ideally, the proposal distribution has heavier tails than the target, which is rarely achievable by minimizing the RKL. We thus propose a novel combination of optimization and sampling techniques for approximate Bayesian inference by constructing an IS proposal distribution through the minimization of a forward KL (FKL) divergence. This approach guarantees asymptotic consistency and a fast convergence towards both the optimal IS estimator and the optimal variational approximation. We empirically demonstrate on real data that our method is competitive with variational boosting and MCMC.

연구 동기 및 목표

• 역방향 KL 발산의 한계를 해결하기 위해, 이는 후행 분포의 꼬리를 과소평가하고 校정 불일치를 초래한다.
• 목표 후행 분포보다 더 무거운 꼬리가 있는 제안 분포를 보장함으로써 중요도 샘플링 제안의 품질을 향상시키기.
• 정방향 KL 최소화를 통해 변분 추론과 중요도 샘플링을 통합하는 통합 프레임워크 개발.
• 중요도 샘플링 추정과 변분 근사 양쪽 모두에서 渐近적 일치성과 더 빠른 수렴 달성.
• 실제 데이터에서 RKL 기반 변분 추론과 MCMC에 경쟁 가능한 실용적 대안 제공.

제안 방법

• 제안 분포와 진정한 후행 분포 사이의 정방향 Kullback-Leibler 발산을 최소화하는 변분 정련 절차 수립.
• 정방향 KL 최소화를 통해 중요도 샘플링 제안 분포를 구성함으로써, 목표 분포보다 자연스럽게 더 무거운 꼬리를 유도.
• 정방향 KL 최적화의 성질을 활용하여 결과로 얻어진 중요도 샘플링 추정기의 渐近적 일치성 보장.
• 두 단계 추론 파이프라인인 변분 근사 후 중요도 샘플링 정련에 정방향 KL 기반 제안 분포 통합.
• 정방향 KL 목표를 통해 정확한 후행 분포 근사와 강력한 중요도 샘플링 추정을 동시에 최적화.
• 정방향 KL 최소화가 최적의 중요도 샘플링 추정기와 최적의 변분 근사에 더 빨리 수렴하게 함을 입증.

실험 결과

연구 질문

• RQ1 정방향 Kullback-Leibler 발산 최소화가 후행 분포보다 더 무거운 꼬리의 제안 분포를 생성할 수 있는가? 이는 중요도 샘플링 성능 향상에 기여하는가?
• RQ2 변분 추론에서 정방향 KL 최소화가 渐近적 일치성 있는 중요도 샘플링 추정기로 이어지는가?
• RQ3 제안된 방법은 역방향 KL 기반 변분 추론 및 MCMC와 비교해 수렴 속도와 정확도에서 어떻게 성능을 내는가?
• RQ4 정방향 KL 기반 정련이 실질적인 베이지안 추론 과제에서 기존의 변분 부스팅과 같은 방법들을 능가하는가?
• RQ5 정방향 KL 최소화와 중요도 샘플링의 조합이 실제 데이터에서 보다 보정된 후행 분포 추정을 제공하는가?

주요 결과

• 정방향 Kullback-Leibler 발산 최소화는 후행 분포보다 더 무거운 꼬리의 제안 분포를 생성하여, 역방향 KL 기반 방법의 핵심 한계를 해결한다.
• 제안된 방법은 중요도 샘플링 추정기의 渐近적 일치성을 보장하며, 이는 종종 역방향 KL 기반 접근에서 손실되는 성질이다.
• 표준 RKL 최소화에 비해 최적의 중요도 샘플링 추정기와 최적의 변분 근사에 더 빠르게 수렴한다.
• 실제 데이터에 대한 실험 결과는 본 방법이 추정 정확도 및 보정 측면에서 변분 부스팅 및 MCMC와 경쟁 가능하다는 것을 보여준다.
• 정방향 KL 기반 제안 분포 구성은 특히 분포의 꼬리에서 더 강력하고 신뢰할 수 있는 후행 추론을 이끈다.
• 변분 추론과 중요도 샘플링의 강점을 융합함으로써, 근사 베이지안 추론의 편향을 효과적으로 제거한다.