[논문 리뷰] Variational Sequential Monte Carlo

Christian A. Naesseth, Scott W. Linderman외 2명|arXiv (Cornell University)|2017. 05. 31.

Gaussian Processes and Bayesian Inference참고 문헌 47인용 수 49

한 줄 요약

이 논문은 변분 추론과 순차 몽테 카를로를 조합하여 영향력 있고 정확하며 확장 가능한 베이지안 추론을 가능하게 하는 새로운 변분 추론 프레임워크인 변분 순차 몽테 카를로(Variational Sequential Monte Carlo, vSMC)를 제안한다. SMC 제안 분포의 파라미터를 변분 파라미터로 간주하고, 하한값에 대한 확률적 경사상승법을 통해 최적화함으로써, 특히 장수열 시간 간격을 가진 복잡한 순차 모델에서 기존 방법들인 IWAE와 구조적 변분 추론보다 더 날카로운 증거 하한값(evidence lower bound)을 달성한다.

ABSTRACT

Many recent advances in large scale probabilistic inference rely on variational methods. The success of variational approaches depends on (i) formulating a flexible parametric family of distributions, and (ii) optimizing the parameters to find the member of this family that most closely approximates the exact posterior. In this paper we present a new approximating family of distributions, the variational sequential Monte Carlo (VSMC) family, and show how to optimize it in variational inference. VSMC melds variational inference (VI) and sequential Monte Carlo (SMC), providing practitioners with flexible, accurate, and powerful Bayesian inference. The VSMC family is a variational family that can approximate the posterior arbitrarily well, while still allowing for efficient optimization of its parameters. We demonstrate its utility on state space models, stochastic volatility models for financial data, and deep Markov models of brain neural circuits.

연구 동기 및 목표

• 상태공간 모델과 딥 마르코프 모델과 같은 복잡한 순차 모델을 위한 유연하고 정확한 변분 추론 방법을 개발하는 것.
• 장수열 시계열에서 표준 변분 추론과 중요도 가중치 자동에코더(IWAE)의 한계를 해결하여 사후 분포 근사의 정밀도를 향상시키는 것.
• 입력된 입자 수를 통해 계산 비용과 근사 정확도 사이의 균형을 원칙적으로 설정할 수 있도록 하는 것.
• 변분 원리에 따라 SMC의 제안 분포를 최적화하여 수렴성과 사후 추정 성능을 향상시키는 것.

제안 방법

• 각 분포가 매개변수화된 제안 분포를 가진 SMC 실행에 대응하는 새로운 변분 가족 vSMC를 제안한다.
• SMC 제안 분포의 파라미터를 변분 파라미터로 간주하고, 변분 하한값에 대한 확률적 경사상승법을 통해 최적화한다.
• vSMC에 대한 미분 가능한 하한값(ELBO)을 유도하여, IWAE 하한값을 일반화하고 종단 간 훈련을 가능하게 한다.
• SMC에서 유도된 가중치가 부여된 입자 궤적을 변분 근사에서의 샘플로 사용하며, 최종 가중치에 따라 한 개의 입자를 선택한다.
• 재정의 경사법을 사용하여 확률적 요소가 존재하는 상황에서도 제안 분포 파라미터의 효율적 최적화를 가능하게 한다.
• 암시적(amortized) 및 비암시적(non-amortized) 추론을 모두 지원하여 딥 모델에서 복잡한 제안 분포의 스케일러블 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 SMC 기반의 변분 가정이 기존 방법들인 IWAE와 구조적 변분 추론보다 순차 모델에서 더 날카로운 증거 하한값을 달성할 수 있는가?
• RQ2 입자 수가 증가함에 따라 vSMC의 성능은 어떻게 변화하는가? 그리고 시계열 길이가 증가함에 따라 IWAE에 비해 여전히 우월한가?
• RQ3 스토케스틱 볼라티리티 모델과 딥 마르코프 모델에서 vSMC는 기존 방법보다 더 효율적이고 정확한 제안 분포를 학습할 수 있는가?
• RQ4 실제 시계열 데이터에서 vSMC는 ELBO와 계산 효율성 측면에서 IWAE를 얼마나 뛰어나게 성능을 내는가?
• RQ5 비선형 동역학과 고차원 관측값을 가진 복잡한 신경 회로 모델에 대해 vSMC는 효과적으로 적용될 수 있는가?

주요 결과

• 환율 데이터 119개월에 대한 스토케스틱 볼라티리티 모델에서, vSMC는 N=16개의 입자를 사용하여 ELBO 6936.6을 달성했으며, 이는 IWAE(6913.3)와 구조적 VI(6905.1)를 모두 초월했다.
• 입자 수가 증가함에 따라 vSMC의 ELBO가著실적으로 향상되었고, 반면 IWAE의 향상 수준은 빠르게 포화 상태에 도달하여, vSMC가 입자 수 N에 대해 더 뛰어난 확장성을 보였다.
• 마카쿠 운동 피질 데이터에 대한 딥 마르코프 모델에서, vSMC는 같은 ELBO를 IWAE와 동일하게 달성했지만 더 빠른 수렴 속도를 보여, 훈련 효율성이 향상됨을 입증했다.
• 장기간의 시퀀스 동안 vSMC는 고가중치 입자들의 다양성을 유지하여, 표준 중요도 샘플링과 IWAE가 앓는 입자 고갈 문제를 피했다.
• 장난감 가우시안 상태공간 모델에서 vSMC는 거의 진짜 주변 가능도(marginal likelihood)에 도달했으며, 이는 복잡한 사후 분포를 정확히 근사할 수 있음을 보여주었다.
• vSMC는 IWAE 하한값을 일반화하며, 재표본화를 생략할 경우 IWAE가 vSMC 하한값의 특수한 경우임을 보였다.