[논문 리뷰] Markov Chain Monte Carlo and Variational Inference: Bridging the Gap

Tim Salimans, Diederik P. Kingma외 1명|arXiv (Cornell University)|2014. 10. 23.

Markov Chains and Monte Carlo Methods참고 문헌 18인용 수 358

한 줄 요약

이 논문은 보조 변수를 도입하여 마르코프 체인 몬테 카를로(MCMC) 단계를 변분 추론에 통합하는 하이브리드 추론 프레임워크를 제안한다. 이는 빠른 변분 추론과 渐近적으로 정확한 MCMC 사이의 격차를 메우는 유연한 사후 분포 근사 클래스를 가능하게 한다. MCMC 전이와 보조 추론 모델 양쪽에 대해 변분 하한을 최적화함으로써, 계산 효율성을 희생시키지 않은 채 근사 정확도를 향상시켜, 표준 변분 방법보다 더 나은 사후 추정을 달성한다.

ABSTRACT

Recent advances in stochastic gradient variational inference have made it possible to perform variational Bayesian inference with posterior approximations containing auxiliary random variables. This enables us to explore a new synthesis of variational inference and Monte Carlo methods where we incorporate one or more steps of MCMC into our variational approximation. By doing so we obtain a rich class of inference algorithms bridging the gap between variational methods and MCMC, and offering the best of both worlds: fast posterior approximation through the maximization of an explicit objective, with the option of trading off additional computation for additional accuracy. We describe the theoretical foundations that make this possible and show some promising first results.

연구 동기 및 목표

• 베이지안 추론에서 계산 속도와 근사 정확도 사이의 상충 관계를 해결하기 위해.
• 변분 추론의 효율성과 MCMC의 정확성을 결합하는 통합 프레임워크를 개발하기 위해.
• 확장된 공간에서 보조 변수를 도입함으로써 MCMC 단계를 변분 추론 목표에 통합할 수 있도록 하기 위해.
• MCMC 전이 모델과 역모델을 동시에 또는 순차적으로 최적화하여 변분 하한을 향상시키기 위해.
• 변분 추론에 MCMC 단계를 통합함으로써 더 날카운 하한과 더 나은 사후 근사를 달성할 수 있음을 입증하기 위해.

제안 방법

• 보조 변수가 MCMC 체인의 전체 궤적을 나타내도록 하는 변분 하한을 수립함으로써, MCMC 전이와 추론 모델을 동시에 최적화할 수 있도록 한다.
• 공통 사후 근사 $ q(z_T|x) = \int q(y,z_T|x) dy $ 를 사용하며, 여기서 $ y = z_0, \dots, z_{T-1} $ 는 보조 변수이다. 이는 표준 변분 가족보다 더 풍부한 근사 클래스를 생성한다.
• 역모델 $ r(y|x,z_T) $ 에 대해 민감한 매개변수 형태를 도입하여, 보조 변수에 대한 진짜 사후를 더 잘 근사할 수 있도록 최적화할 수 있도록 한다.
• 해석적 계산이 곤란할 경우 비편향 몬테 카를로 추정치를 사용하여, 확률적 경사 변분 추론을 통해 하한을 최적화한다.
• 동시 최적화 및 순차 최적화 전략을 제안한다: 첫 번째는 모든 MCMC 단계를 동시에 최적화하고, 두 번째는 기존 근사를 단계적으로 향상시키며, 부스팅에 유사한 방식이다.
• 자세한 평형 조건을 만족하는 역모델을 구성하기 위해 안내된 중요도 샘플링을 적용하여, 각 MCMC 단계에서 하한이 향상됨을 보장한다.

실험 결과

연구 질문

• RQ1 MCMC 단계를 변분 추론 프레임워크에 통합하여 명시적 목표를 유지하면서 사후 근사를 향상시킬 수 있는가?
• RQ2 보조 변수를 어떻게 활용하여 MCMC 동역학을 포함하는 더 풍부한 변분 근사 클래스를 구성할 수 있는가?
• RQ3 MCMC 전이 모델과 역모델을 동시에 최적화할 경우, 변분 하한의 날카움에 어떤 영향을 미치는가?
• RQ4 MCMC 단계를 순차적으로 통합하면 기존 변분 근사를 부스팅과 유사하게 향상시킬 수 있는가?
• RQ5 제안된 방법은 표준 변분 추론이나 단독 MCMC보다 더 높은 사후 정확도를 달성하는가?

주요 결과

• 제안된 방법은 MCMC 단계를 통합함으로써 변분 하한을 향상시키며, MCMC 체인 길이가 길어지고 전이가 최적화될수록 하한이 증가한다.
• 여러 개의 MCMC 반복값을 혼합하여 사후 근사를 구성함으로써 분산을 줄이고 추정 성능을 향상시킬 수 있으며, 특히 긴 체인에서 두드러진다.
• 순차적 MCVI 알고리즘은 MCMC 단계를 한 개씩 추가함으로써 기존 변분 근사를 점진적으로 향상시키며, 더 나은 수렴과 성능을 이룬다.
• 안내된 변분 추론은 역모델을 명시적으로 정의하지 않아도 되며, 세부 평형 조건을 활용하여 하한을 단조롭게 향상시킬 수 있다.
• 이 프레임워크는 속도와 정확도 사이의 매끄러운 트레이드오프를 가능하게 한다: 더 많은 MCMC 단계는 정확도를 높이지만 계산 비용이 증가하고, 더 적은 단계는 정확도를 낮추지만 속도를 유지한다.
• 실험 결과는 복잡한 다모달 사후 분포를 가진 모델에서 표준 변분 추론보다 더 날카운 하한과 더 나은 사후 근사를 달성함을 보여준다.