[논문 리뷰] Identification of Gaussian Process State Space Models

Stefanos Eleftheriadis, Thomas F. W. Nicholson외 2명|arXiv (Cornell University)|2017. 05. 30.

Gaussian Processes and Bayesian Inference참고 문헌 31인용 수 11

한 줄 요약

이 논문은 이중 방향 RNN을 인식 모델로 사용하여 잠재 상태의 사후분포를 근사함으로써 가우시안 프로세스 상태공간모델(GPSSMs)을 식별하기 위한 변분 추론 프레임워크를 제안한다. 이 방법은 소규모 데이터셋에서 비선형 역학을 효율적으로 학습할 수 있게 하며, 부분적 또는 지연된 관측이 있을 경우에도 정확한 장기 예측 경로 생성과 불확실성 정량화를 달성한다.

ABSTRACT

The Gaussian process state space model (GPSSM) is a non-linear dynamical system, where unknown transition and/or measurement mappings are described by GPs. Most research in GPSSMs has focussed on the state estimation problem, i.e., computing a posterior of the latent state given the model. However, the key challenge in GPSSMs has not been satisfactorily addressed yet: system identification, i.e., learning the model. To address this challenge, we impose a structured Gaussian variational posterior distribution over the latent states, which is parameterised by a recognition model in the form of a bi-directional recurrent neural network. Inference with this structure allows us to recover a posterior smoothed over sequences of data. We provide a practical algorithm for efficiently computing a lower bound on the marginal likelihood using the reparameterisation trick. This further allows for the use of arbitrary kernels within the GPSSM. We demonstrate that the learnt GPSSM can efficiently generate plausible future trajectories of the identified system after only observing a small number of episodes from the true system.

연구 동기 및 목표

• 잠재 상태와 전이 함수가 모두 알려져 있지 않은 비선형 가우시안 프로세스 상태공간모델(GPSSMs)에서 오랫동안 해결되지 않은 시스템 식별 문제를 다루기.
• 잠재 상태에 대한 구조화된 변분 사후분포를 도입함으로써 GPSSMs에서 발생하는 식별 불가 문제를 해결하기.
• 재파arameterization 기법을 적용하여 마진널 가능도의 하한을 계산함으로써 GPSSMs의 효율적 학습을 가능하게 하기.
• 모델과 인식 모델의 엔드 투 엔드 최적화를 가능하게 하여 임의의 커널 함수를 GPSSMs에 적용할 수 있도록 하기.
• 관측된 데이터가 몇 에피소드에 불과한 상황에서도 장기 예측 경로 생성이 가능한 모델을 구현하기

제안 방법

• 진짜 상태 역학의 마르코프 성질을 유지하는 구조화된 가우시안 변분 사후분포를 잠재 상태에 대해 제안하여, 상태의 마르코프 성질을 반영한다.
• 전체 시퀀스에 걸쳐 매끄러운 추정을 가능하게 하기 위해, 상태 사후분포의 변분 매개수를 추론하기 위해 이중 방향 순환 신경망(BRNN)을 인식 모델로 사용한다.
• GPSSM에 재파arameterization 기법을 적용하여, 마진널 가능도의 하한에 대한 효율적이고 미분 가능한 최적화를 가능하게 한다.
• 유도점(inducing points)을 사용한 희소 GP를 활용하여 GP 전이 함수를 근사함으로써, 커널 선택의 유연성을 유지하면서도 효율적인 추론을 가능하게 한다.
• 확률적 경사 하강법(Adam 최적화기)을 사용하여 모델을 엔드 투 엔드로 훈련함으로써, GP 하이퍼파ram터, 유도점, 인식 모델 매개수를 동시에 최적화한다.
• 식별된 역학 하에서 GPSSM에서 샘플링을 통해 미래 경로를 생성하고, 불확실성 정량화를 수행함으로써 학습된 사후분포를 활용한다.

실험 결과

연구 질문

• RQ1 이중 방향 RNN을 활용한 인식 모델을 갖는 구조화된 변분 사후분포가 GPSSM에서 진짜 잠재 상태 사후분포를 효과적으로 근사할 수 있는가?
• RQ2 제안된 변분 추론 프레임워크가 소규모, 에피소드 기반, 또는 부분적인 데이터로부터 GPSSMs의 효과적인 시스템 식별을 가능하게 하는가?
• RQ3 진짜 시스템의 몇 에피소드만 관측한 후에도 모델이 장기 예측 경로 예측에 일반화할 수 있는가?
• RQ4 부분적 또는 지연된 관측(예: 지연된 제어 입력)이 있을 경우 GPSSM이 역학을 얼마나 잘 복원할 수 있는가?
• RQ5 재파arameterization 기법을 사용함으로써 임의의 커널 함수를 갖는 GPSSM에 대해 효율적이고 안정적인 최적화가 가능한가?

주요 결과

• 제안된 GPSSM는 더블 펜듈럼 시스템의 14개 에피소드만 관측한 후에도 장기 예측 경로를 현실적으로 생성할 수 있으며, 예측 정확도가 15개 이상의 타임스텝(1.5초) 동안 유지된다.
• 모델은 펜듈럼의 각도만 관측하고 각속도를 관측하지 않은 상태에서도 더블 펜듈럼의 역학을 성공적으로 학습하여 효과적인 상태 표현 학습 능력을 입증한다.
• 예측이 떨어지는 영역에서는 불확실성이 정확히 반영되며, 액추에이터 역학 실험에서 모델 불일치 지점에서 불확실성이 증가하는 것으로 나타났다.
• 이중 방향 RNN을 인식 모델로 사용함으로써 상태 사후분포의 효과적인 스무딩이 가능해져, 향상된 추론 및 학습 성능을 달성한다.
• 재파arameterization 기반의 변분 추론 프레임워크는 효율적인 최적화를 가능하게 하며, RBF 및 마테른 커널을 포함한 임의의 커널 함수 사용도 가능하게 한다.
• 관측 지연이 있을 경우에도 제어 신호가 상태 관측과 시간으로 정렬되지 않더라도, 모델은 테스트 에피소드에 대해 잘 일반화되며, 관측 지연에 대한 강건성을 보였다.