[논문 리뷰] Structured Variational Inference in Unstable Gaussian Process State Space Models

Silvan Melchior, Sebastian Curi외 2명|arXiv (Cornell University)|2019. 07. 16.

Gaussian Processes and Bayesian Inference참고 문헌 24인용 수 4

한 줄 요약

이 논문은 비안정적이고 부분 관측 가능한 시스템에서의 학습을 가능하게 하는, 가우시안 프로세스 상태공간 모델(GPSSMs)을 위한 구조적 변분 추론 알고리즘인 CBF-SSM을 제안한다. 뒷쪽 스무딩과 조정 가능한 칼만 이득 파라미터를 통한 소프트 조건화를 결합함으로써, CBF-SSM는 은닉 상태와 긴 시퀀스가 존재하는 상황에서 기존 방법들인 PR-SSM 및 VCDT를 능가하는 테스트 성능을 달성한다.

ABSTRACT

We propose a new variational inference algorithm for learning in Gaussian Process State-Space Models (GPSSMs). Our algorithm enables learning of unstable and partially observable systems, where previous algorithms fail. Our main algorithmic contribution is a novel approximate posterior that can be calculated efficiently using a single forward and backward pass along the training trajectories. The forward-backward pass is inspired on Kalman smoothing for linear dynamical systems but generalizes to GPSSMs. Our second contribution is a modification of the conditioning step that effectively lowers the Kalman gain. This modification is crucial to attaining good test performance where no measurements are available. Finally, we show experimentally that our learning algorithm performs well in stable and unstable real systems with hidden states.

연구 동기 및 목표

• 기존의 변분 추론 방법들이 GPSSMs를 사용할 때 비안정적이고 부분 관측 가능한 동적 시스템에서 실패하는 문제를 해결하기 위해.
• 이전 방법들보다 더 나은 시간적 상관관계를 포착할 수 있도록, 은닉 상태의 사후 분포 근사를 향상시키기 위해 뒷쪽 전파를 도입하기 위해.
• 측정값이 없는 시스템에서의 테스트 시기 일반화 능력을 향상시키기 위해, 칼만 이득을 줄이는 조건화 단계를 수정하기 위해.
• 이전 방법들이 발산 또는 과적합으로 인해 실패하는 비안정적 시스템에서 더 긴 시퀀스에 대한 학습을 가능하게 하기 위해.
• 실제 로봇 공학 작업에서 정확하고 불확실성 인식이 가능한 역학 예측을 위해 물리 모델과 데이터 기반 GP 보정을 융합하기 위해.

제안 방법

• 칼만 스무딩에 영감을 얻은 뒷쪽 전파를 도입하여, 은닉 상태의 사후 분포 근사를 향상시키기 위해 GPSSMs에 적용한다.
• 직접 관측 조건화를 대체하는, 스무딩 추정 기반의 조건화 단계를 제안하여, 부분 관측 가능한 시스템에서의 강건성을 향상시킨다.
• 칼만 이득을 제어할 수 있는 조정 가능한 파라미터 $k$를 도입하여, 완전한 조건화(VCDT 유사)와 조건화 없음(PR-SSM 유사) 사이의 보간을 가능하게 한다.
• 학습 경로를 따라 전진 및 후진 전파를 통해 시간적 상관관계를 유지하는 구조적 사후 분포를 사용한다.
• 인식 모델을 사용하여 잠재 상태에 대한 사후 분포를 근사하기 위해 双중 스토하스틱 변분 추론을 활용한다.
• 기존 알려진 물리 모델(예: ODE 기반 강체 역학)과 GP 보정 항목을 융합하여 일반화 능력을 향상시키고 데이터 요구량을 줄인다.

실험 결과

연구 질문

• RQ1 기존 방법들이 실패하는 비안정적이고 부분 관측 가능한 환경에서, GPSSMs의 변분 추론이 강건하게 작동할 수 있는가?
• RQ2 필터링 기반 방법과 비교할 때, GPSSMs에서 뒷쪽 스무딩 전파가 사후 분포 근사에 개선을 이끌 수 있는가?
• RQ3 조정 가능한 칼만 이득 파라미터를 통한 소프트 조건화가 측정값이 없는 시스템에서 테스트 시기 일반화 능력을 향상시킬 수 있는가?
• RQ4 CBF-SSM는 이전 방법들이 발산 또는 과적합으로 실패하는 비안정적 시스템에서 더 긴 시퀀스(300단계까지)에 대해 학습이 가능한가?
• RQ5 CBF-SSM를 물리 모델과 융합했을 때, 실제 로봇 공학 작업에서 더 정확하고 신뢰할 수 있는 불확실성 추정이 가능해지는가?

주요 결과

• 시뮬레이션된 비안정적 디뷰인 자동차 모델에서, CBF-SSM는 PR-SSM 및 VCDT보다 낮은 테스트 오차를 기록하며, 특히 학습 시퀀스 길이가 길어질수록 성능이 뛰어나다.
• 볼로리오X 드론 데이터셋에서, CBF-SSM는 큰 과정 노이즈와 은닉 상태가 존재하는 상황에서도 예측 정확도와 불확실성 캘리브레이션에서 PR-SSM 및 VCDT를 능가한다.
• CBF-SSM는 비안정적 시스템에서 최대 300단계까지의 긴 시퀀스 학습이 가능하지만, PR-SSM 및 VCDT는 발산 또는 과적합으로 인해 실패한다.
• 모든 데이터셋에서 $k=50$일 때 CBF-SSM가 가장 낮은 테스트 오차를 기록하여, 소프트 조건화의 유용성을 입증한다.
• 측정값이 완전히 제공되는 환경에서는 $k=1$(VCDT 유사)일 때도 좋은 성능을 보이며, 유리한 조건에서 이전 방법들과의 일관성을 보여준다.
• 추가적인 뒷쪽 전파로 인해 학습 속도는 3.7배 느려지지만, 예측 시간은 모든 방법과 동일하다.