[논문 리뷰] Neural Adaptive Sequential Monte Carlo

Shixiang Gu, Zoubin Ghahramani외 1명|arXiv (Cornell University)|2015. 06. 10.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 44

한 줄 요약

이 논문은 신경망을 사용하여 순차 몽테카를로(SMC)의 최적 제안 분포를 자동으로 학습하는 기반으로 작동하는 신경적 적응형 순차 몽테카를로(NASMC)를 제안한다. 확률적 경사 하강법을 통해 진정한 사후분포와 제안 분포 사이의 포함적 쿨백-라이블러(Kullback-Leibler) 발산을 최소화함으로써, 비선형 상태공간 모델에서 추론 정확도와 파라미터 학습을 크게 향상시키며, 잠재변수 RNN의 효과적인 학습을 가능하게 하여 기존의 적응형 필터와 최첨단 기준 모델을 능가한다.

ABSTRACT

Sequential Monte Carlo (SMC), or particle filtering, is a popular class of methods for sampling from an intractable target distribution using a sequence of simpler intermediate distributions. Like other importance sampling-based methods, performance is critically dependent on the proposal distribution: a bad proposal can lead to arbitrarily inaccurate estimates of the target distribution. This paper presents a new method for automatically adapting the proposal using an approximation of the Kullback-Leibler divergence between the true posterior and the proposal distribution. The method is very flexible, applicable to any parameterized proposal distribution and it supports online and batch variants. We use the new framework to adapt powerful proposal distributions with rich parameterizations based upon neural networks leading to Neural Adaptive Sequential Monte Carlo (NASMC). Experiments indicate that NASMC significantly improves inference in a non-linear state space model outperforming adaptive proposal methods including the Extended Kalman and Unscented Particle Filters. Experiments also indicate that improved inference translates into improved parameter learning when NASMC is used as a subroutine of Particle Marginal Metropolis Hastings. Finally we show that NASMC is able to train a latent variable recurrent neural network (LV-RNN) achieving results that compete with the state-of-the-art for polymorphic music modelling. NASMC can be seen as bridging the gap between adaptive SMC methods and the recent work in scalable, black-box variational inference.

연구 동기 및 목표

• 나쁜 제안 분포로 인해 SMC 방법이 높은 분산 추정과 열악한 성능을 보이는 데 기인한 심각한 민감성 문제를 해결하기 위해.
• 신경망을 사용하여 SMC 내 제안 분포를 자동으로 적응시키는 유연하고 종단 간(end-to-end) 학습 가능한 프레임워크를 개발하기 위해.
• 제안 품질 향상으로 Particle Marginal Metropolis-Hastings(PMMH)의 추론 정확도와 혼합 성능을 향상시키기 위해.
• SMC를 사용하여 복잡한 잠재변수 모델, 예를 들어 순환 신경망을 효과적으로 학습시키기 위해.
• 신경망 파arameterization과 기반으로 한 최적화를 활용하여 적응형 SMC와 블랙박스 변분 추론 사이의 격차를 메우기 위해.

제안 방법

• 기반으로 작동하는 기반 최적화를 통해 진정한 사후분포와 제안 분포 사이의 포함적 쿨백-라이블러 발산을 최소화한다.
• 차별가능한 신경망을 사용하여 제안 분포를 파arameter화함으로써, 혼합 밀도 네트워크를 포함한 고용량의 모델을 포함한 다양한 유연한 모델을 가능하게 한다.
• SMC 알고리즘에서 추출한 샘플을 사용하여 KL 발산의 기울기를 추정함으로써, 순차적 필터링 과정을 거쳐 확률적 역전파가 가능해진다.
• 온라인 및 배치 학습 변형을 모두 지원하여 순차 추론 중 또는 후행적으로 적응할 수 있다.
• 제안 네트워크는 SMC에서 유도된 중요도 가중치를 사용하여 확률적 경사 하강법(예: Adam 최적화기)을 통해 학습된다.
• 기존 SMC 파ip라인에 원활하게 통합되며, 베이지안 파라미터 학습을 위한 PMMH에서 서브루틴으로 사용될 수 있다.

실험 결과

연구 질문

• RQ1 신경망이 SMC 내 제안 분포를 적응적으로 향상시켜 더 정확한 사후 근사에 기여할 수 있는가?
• RQ2 NASMC는 EKPF 및 UPF와 같은 기존의 적응형 SMC 방법과 비교하여 추론 정확도와 유효 표본 크기 측면에서 어떻게 성능을 내는가?
• RQ3 향상된 SMC 추론이 파라미터 학습을 위한 Particle Marginal Metropolis-Hastings(PMMH)의 혼합 및 수렴에 어느 정도 기여하는가?
• RQ4 NASMC는 LV-RNN과 같은 복잡한 잠재변수 모델을 효과적으로 학습시킬 수 있는가, 그리고 최첨단 기준 모델과 경쟁 가능한 성능을 낼 수 있는가?
• RQ5 변분 추론에서 사용하는 배타적 KL 발산과 비교하여 SMC에서 포함적 KL 발산을 사용할 경우 어떤 영향을 미치는가?

주요 결과

• NASMC는 표준 SMC 벤치마크에서 부트스트랩 필터 및 EKPF, UPF와 같은 적응형 방법보다 뚜렷이 뛰어나며, 비선형 상태공간 모델에서 특히 두각을 나타낸다.
• JSBChorales 데이터셋에서 NASMC는 음수 로그우도(NLL) 3.99를 기록하여 부트스트랩 필터(4.26)를 능가했으며, 다른 최첨단 모델과 유사하거나 슈퍼어리어한 성능을 보였다.
• PMMH에서 혼합 성능 향상과 초기화 시간 감소를 입증하여, 더 나은 제안이 더 효율적인 베이지안 파라미터 학습을 이끌 수 있음을 보여주었다.
• NASMC는 잠재변수 RNN(LV-RNNs)의 효과적인 학습을 가능하게 하여, 피아노-미디-디 데이터셋에서 테스트 세트 NLL 7.61을 달성하며 경쟁 가능한 결과를 얻었다.
• 깊은 신경망 제안을 포함한 고차원적이고 복잡한 모델을 성공적으로 처리하였으며, 기존의 입자 필터로는 접근이 불가능한 모델에 대해서도 유연하게 대응할 수 있었다.
• 실험 결과, SMC 기반 기울기 추정과 함께 포함적 KL 발산을 사용할 경우, 순차 설정에서 변분 자유에너지 방법보다 더 견고하고 정확한 사후 근사가 가능하다는 것을 입증하였다.