[논문 리뷰] Closed-form Inference and Prediction in Gaussian Process State-Space Models

Alessandro Davide Ialongo, Mark van der Wilk외 1명|arXiv (Cornell University)|2018. 12. 10.

Gaussian Processes and Bayesian Inference참고 문헌 5인용 수 9

한 줄 요약

이 논문은 유도점과 마르코프 구조를 활용하여 은닉 상태와 전이 함수에 대해 결정론적, 선형 시간 복잡도로 추론할 수 있는 가우시안 프로세스 상태공간 모델(GPSSMs)을 위한 폐형 변분 추론 방법을 제안한다. 이 방법은 몬테카를로 샘플링 없이도 정확한 비선형 역학 모델링, 다단계 예측 및 사후 품질 평가가 가능하며, 합성 및 물리계에서 필터링, 노이즈 제거, 차원 수 추정에 성공적으로 적용되었다.

ABSTRACT

We examine an analytic variational inference scheme for the Gaussian Process State Space Model (GPSSM) - a probabilistic model for system identification and time-series modelling. Our approach performs variational inference over both the system states and the transition function. We exploit Markov structure in the true posterior, as well as an inducing point approximation to achieve linear time complexity in the length of the time series. Contrary to previous approaches, no Monte Carlo sampling is required: inference is cast as a deterministic optimisation problem. In a number of experiments, we demonstrate the ability to model non-linear dynamics in the presence of both process and observation noise as well as to impute missing information (e.g. velocities from raw positions through time), to de-noise, and to estimate the underlying dimensionality of the system. Finally, we also introduce a closed-form method for multi-step prediction, and a novel criterion for assessing the quality of our approximate posterior.

연구 동기 및 목표

• 몬테카를로 샘플링을 피하는 완전히 분석적인 GPSSMs 변분 추론 체계를 개발하기 위해.
• 마르코프 구조와 유도점 근사법을 활용하여 효율적이고 선형 시간 복잡도의 추론을 가능하게 하기 위해.
• 다단계 예측을 위한 폐형 방법과 테스트 시점에서 예측 사후 품질을 평가하는 기준을 제공하기 위해.
• 모델이 비선형 역학을 복구하고, 신호를 노이즈 제거하며, 누락된 상태(예: 속도)를 보간하고, 잠재 차원 수를 추정할 수 있는 능력을 입증하기 위해.

제안 방법

• 상태 $q(\mathbf{x})$와 전이 함수 $q(f)$에 대한 인과적 근사 사후 분포를 사용하는 双중 변분 추론 프레임워크를 적용한다.
• 유도 변수 $\mathbf{u}$를 통한 희소 GP 근사를 적용하여 계산 가능한 기초 하한(ELBO)을 도출한다.
• 상태에 대해 가우시안 변분 분포를, 유도 변수에 대해 자유형 분포를 사용하여 폐형 기대값 계산이 가능하도록 한다.
• 예측 불확실성을 측정하기 위해 진정한 예측 분포와 근사 예측 분포 간의 KL 발산을 측정함으로써, 증강된 ELBO $\mathcal{L}'$을 유도한다.
• 미래 상태 분포에 대한 모멘트 매칭과 변분 최적화를 기반으로 한 새로운 다단계 예측 방법을 도입한다.
• 테스트 데이터 없이도 근사 사후 품질을 측정할 수 있도록, 원래 ELBO와 증강된 ELBO의 차이 $\mathcal{L} - \mathcal{L}'$을 예측 정확도의 대체 지표로 사용한다.

실험 결과

연구 질문

• RQ1 GPSSMs에서 완전히 분석적인 변분 추론이 몬테카를로 샘플링 없이도 정확한 추론과 예측을 달성할 수 있는가?
• RQ2 과정 노이즈와 관측 노이즈 하에서 이 방법이 비선형 역학을 얼마나 잘 모델링할 수 있는가?
• RQ3 모델이 누락된 상태(예: 위치에서의 속도)를 효과적으로 보간하고 신호를 노이즈 제거할 수 있는가?
• RQ4 증강된 ELBO가 예측 사후 품질 평가에 대해 신뢰할 수 있는, 테스트 시점 기반 지표를 제공하는가?
• RQ5 노이즈가 섞인 관측치로부터 진정한 동적 시스템의 잠재 차원 수를 추정할 수 있는가?

주요 결과

• 마르코프 구조와 유도점 근사를 활용함으로써 시간 시리즈 길이에 대해 선형 시간 복잡도를 달성한다.
• 노이즈가 섞인 데이터로부터 비선형 전이 함수를 성공적으로 학습한다. 이는 'Kink' 및 'Cart and Pole' 시스템에서 입증되었다.
• 비선형 영역에서는 다단계 예측 성능이 떨어지며, ELBO의 감소 폭이 선형 영역의 -0.22에서 비선형 영역의 -46.9로 증가한다.
• Cart and Pole 데이터셋에서 ELBO 목적함수의 최고점은 진짜 잠재 차원 수(5D) 근처에서 관찰되어, 효과적인 차원 수 추정이 가능함을 시사한다.
• 원래 ELBO와 증강된 ELBO 간의 격차 $\mathcal{L} - \mathcal{L}'$은 예측 불확실성을 정량화하고 예측 정확도와 상관관계를 가지며, 보류된 데이터 없이도 테스트 시점에서의 품질 평가가 가능하다.
• 모멘트 매칭을 통한 폐형 예측 분포는 샘플링의 신뢰할 수 있는 대체 수단을 제공하며, ELBO 격차는 근사 품질에 대한 원리적인 측정 기준이 된다.