[논문 리뷰] Streaming Variational Monte Carlo

Yuan Zhao, Josue Nassar외 3명|arXiv (Cornell University)|2019. 06. 04.

Gaussian Processes and Bayesian Inference참고 문헌 57인용 수 5

한 줄 요약

이 논문은 스트리밍 시계열에서 잠재 상태와 비선형 역학의 유연하고 정확하며 확장 가능한 동시 추론을 가능하게 하는, 변분 추론과 순차 몽테카를로를 결합한 새로운 온라인 베이지안 필터링 프레임워크인 스트리밍 변분 몽테카를로(SVMC)를 소개한다. 역학을 모델링하기 위해 희소 가우시안 프로세스를 사용하고, 유도 변수의 사후분포를 표현하기 위해 입자들을 사용함으로써, SVMC는 시간 단위당 일정한 시간 복잡도를 가지며 渐近적으로 정확한 필터링을 달성한다. 또한 임의의 관측 모델을 지원한다.

ABSTRACT

Nonlinear state-space models are powerful tools to describe dynamical structures in complex time series. In a streaming setting where data are processed one sample at a time, simultaneous inference of the state and its nonlinear dynamics has posed significant challenges in practice. We develop a novel online learning framework, leveraging variational inference and sequential Monte Carlo, which enables flexible and accurate Bayesian joint filtering. Our method provides an approximation of the filtering posterior which can be made arbitrarily close to the true filtering distribution for a wide class of dynamics models and observation models. Specifically, the proposed framework can efficiently approximate a posterior over the dynamics using sparse Gaussian processes, allowing for an interpretable model of the latent dynamics. Constant time complexity per sample makes our approach amenable to online learning scenarios and suitable for real-time applications.

연구 동기 및 목표

• 스트리밍 시계열에서 잠재 상태와 비선형 역학의 동시 온라인 추론 문제를 해결하기 위해.
• EKF/UKF와 같은 기존 방법들이 강한 파rametric 가정에 의존하고 광범위한 초모수 조정이 필요하다는 한계를 극복하기 위해.
• 임의의 관측 모델을 갖는 비선형 상태공간 모델에서 정확하고 확장 가능하며 해석 가능한 베이지안 추론을 가능하게 하는 프레임워크를 개발하기 위해.
• 실시간 온라인 학습 시나리오에서의 실시간 적용 가능성을 위해 시간 단위당 일정한 시간 복잡도를 달성하기 위해.
• 진짜 사후 분포에 수렴하는 이론적으로 탄탄한 근사치를 제공하여 필터링 사후분포를 이론적으로 기반한 근사치로 제공하기 위해.

제안 방법

• 희소 가우시안 프로세스의 유도 변수에 대한 사후분포를 표현하기 위해 입자를 사용하는 스트리밍 변분 몽테카를로 프레임워크를 제안하여, 역학 파rameter에 대한 정확한 베이지안 추론을 가능하게 한다.
• 필터링 분포의 로그 정규화 상수에 대한 서브스티튜션 하한을 최적화하여 적응형 제안 분포를 갖춘 순차 몽테카를로를 활용한다.
• 입자 수가 증가함에 따라 진짜 필터링 분포에 거의 확실히 수렴하는 변분 근사치를 사용하여 필터링 사후분포를 근사한다.
• 자기 정규화 중요도 가중치를 사용하여 예측 분포를 희소 가우시안 프로세스의 혼합으로 근사함으로써, 풍부하고 비정규적인 예측 불확실성을 가능하게 한다.
• 변분 目적 함수의 비편향된 기울기를 유도하여, 확률적 경사하강법을 사용한 효율적인 온라인 학습을 지원한다.
• 표준 변분 근사치를 피하고 닫힌 형태의 업데이트를 가능하게 하기 위해, 유도 변수의 사후분포에 대한 새로운 입자 기반 표현을 도입한다.

실험 결과

연구 질문

• RQ1 스트리밍 베이지안 필터링 방법이 임의의 관측 가능도를 갖는 비선형 상태공간 모델에 대해 渐近적으로 정확한 추론을 달성할 수 있는가?
• RQ2 시간 단위당 일정한 시간 복잡도를 유지하면서도 높은 정확도를 확보할 수 있는가?
• RQ3 희소 가우시안 프로세스에서 유도 변수에 대한 입자 기반 추론이 표준 변분 근사치보다 역학 모델링 정확도를 향상시킬 수 있는가?
• RQ4 비편향된 기울기를 갖는 제안된 방법이 수렴성과 강건성 측면에서 기존의 온라인 필터링 기법을 초월하는가?
• RQ5 이 프레임워크는 스트리밍 환경에서 희소 가우시안 프로세스를 사용하여 잠재 역학의 해석 가능하고 비모수적 모델링을 지원할 수 있는가?

주요 결과

• 제안된 SVMC 프레임워크는 입자 수가 증가함에 따라 진짜 필터링 사후분포에 수렴함을 증명할 수 있으며, 이는 渐近적 일致성을 보장한다.
• 시간 단위당 일정한 시간 복잡도를 달성하여 실시간 및 온라인 응용에 적합하다.
• 유도 변수의 사후분포를 입자로 표현함으로써, 표준 변분 근사치보다 더 정확한 베이지안 추론을 가능하게 한다.
• 비편향된 기울기를 갖는 서브스티튜션 목적 함수를 사용함으로써, 확률적 경사하강법을 효과적으로 최적화할 수 있으며, 수렴성과 성능 향상을 개선한다.
• 비가우시안 및 이산 가능도를 포함한 임의의 관측 모델을 지원하여, 많은 기존 필터링 방법들이 지원하지 못하는 분포를 다룰 수 있다.
• 예측 분포는 희소 가우시안 프로세스의 혼합으로 근사되며, 평균-장 근사치보다 더 풍부하고 정확한 불확실성 추정을 제공한다.