[논문 리뷰] Variational Gaussian Process State-Space Models

Roger Frigola, Yutian Chen외 1명|arXiv (Cornell University)|2014. 06. 18.

Gaussian Processes and Bayesian Inference참고 문헌 17인용 수 99

한 줄 요약

이 논문은 비선형 상태공간 모델을 위한 변분 베이지안 추론 프레임워크를 제안하며, 희소 가우시안 프로세스를 사용하여 효율적이고 확장 가능한 학습과 불확실성 측정을 가능하게 한다. 보조 시스템에서 변분 추론과 순차 몬테 카를로를 조합함으로써 선형 계산 복잡도를 달성하고 후행 분포의 취급 가능한 근사치를 제공하며, 예측 속도에서 MCMC 기반 접근법을 능가하면서도 정확도를 유지한다.

ABSTRACT

State-space models have been successfully used for more than fifty years in different areas of science and engineering. We present a procedure for efficient variational Bayesian learning of nonlinear state-space models based on sparse Gaussian processes. The result of learning is a tractable posterior over nonlinear dynamical systems. In comparison to conventional parametric models, we offer the possibility to straightforwardly trade off model capacity and computational cost whilst avoiding overfitting. Our main algorithm uses a hybrid inference approach combining variational Bayes and sequential Monte Carlo. We also present stochastic variational inference and online learning approaches for fast learning with long time series.

연구 동기 및 목표

• 과적합을 방지하면서도 복잡한 비선형 동역학 시스템을 학습하기 위한 확장 가능한 비모수적 베이지안 접근법을 개발하기 위해.
• 가우시안 프로세스 사전분포를 사용하여 비선형 상태 전이 및 관측 함수에 대한 취급 가능한 후행 추론을 가능하게 하기 위해.
• 특히 장시간 시계열에 대해 MCMC 기반 스무딩 방법에 비해 예측의 계산 비용을 줄이기 위해.
• 실시간 또는 대규모 학습 시나리오를 위한 온라인 및 스토캐스틱 변분 추론을 지원하기 위해.
• 운동 방정식에 대한 사전 지식이 제한적이거나 없을 경우에도 원칙적인 모델을 제공하기 위해.

제안 방법

• 비선형 상태 전이 및 관측 함수에 대한 비모수적 사전분포로 희소 가우시안 프로세스를 사용하여 부드러움과 연속성을 인코딩하기 위해.
• 하이브리드 추론 전략을 적용: 은닉 상태와 초모수에 대한 근사 후행 분포를 위해 변분 베이즈를 사용하고, 보조 시스템에서 스무딩을 위해 순차 몬테 카를로를 조합하기 위해.
• 기대치 전파와 스트로스틱 기울기 업데이트를 통한 효율적 최적화를 가능하게 하는 변분 하한을 도입하기 위해.
• 장시간 시계열에 대해 확장 가능하도록 스트로스틱 변분 추론(SVI)과 온라인 학습을 적용하여 학습 시간을 단축하기 위해.
• 보조 시스템에서의 추론을 위해 고정 지연 입자 스무딩기를 사용하여 효율적인 후행 분포 근사치를 가능하게 하기 위해.
• 비선형 동역학 시스템에 대한 취급 가능한 후행 분포를 유도하여, 시계열 길이에 영향을 받지 않는 빠른 확률적 예측을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 가우시안 프로세스를 사용하는 비모수적 베이지안 접근법이 과적합 없이 복잡한 비선형 상태공간 모델을 학습할 수 있는가?
• RQ2 변분 추론과 순차 몬테 카를로를 어떻게 조합하여 비선형 SSM에서 확장 가능한 학습을 달성할 수 있는가?
• RQ3 GP-SSMs에서 후행 예측의 계산 복잡도를 시계열 길이에 독립적으로 만들 수 있는가?
• RQ4 스트로스틱 및 온라인 변분 추론은 장시간 시계열에서 학습을 얼마나 가속화할 수 있는가?
• RQ5 모델은 신경 자극 기록 데이터에서 한계 사이클과 같은 복잡한 동역학적 행동을 얼마나 잘 포착할 수 있는가?

주요 결과

• 변분 GP-SSM는 로렌츠-96 데이터셋에서 테스트 RMSE 1.15를 달성하여 GP-NARX 및 선형 모델을 능가했다.
• 모델은 -1.61의 로그 예측 밀도를 기록했으며, PMCMC 기반 방법과 유사한 성능을 보였지만 훨씬 빠른 추론 속도(테스트 예측 시 0.14초 대비 421초)를 확보했다.
• 스트로스틱 변분 추론(SVI)을 적용하여 10,000개 길이의 시계열에 대해 학습 시간을 4.12분으로 단축시켰고, PMCMC 대비 547분에서 줄였다.
• 모델은 쥐의 해마 신경 자극 기록 데이터에서 6Hz 진동 패턴과 한계 사이클 동역학을 성공적으로 포착했으며, 후행 샘플은 일관된 액트로피터 행동을 보였다.
• 상태 전이 함수에 대한 후행 분포는 한계 사이클 근처에서 높은 신뢰도를 보여주었으며, 이는 비선형 동역학의 강력한 학습을 시사했다.
• 이 방법은 시계열 길이에 영향을 받지 않는 빠르고 불확실성 인식 예측을 가능하게 하며, MCMC 기반 방법과는 달리 이에 비해 유리하다.