[논문 리뷰] Recurrent Gaussian Processes

César Mattos, Zhenwen Dai외 4명|arXiv (Cornell University)|2015. 11. 20.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 26

한 줄 요약

이 논문은 전이 및 관측 함수에 대한 가우시안 프로세스 사전분포를 사용하여 순차적 동역학을 모델링하는 베이지안 비모수 프레임워크인 순환 가우시안 프로세스(RGP)를 소개한다. 잠재 자기회귀 상태를 갖춘 불확실성 인식 훈련을 가능하게 하기 위해 효율적인 추론을 위한 순환 변분 베이즈(REVARB) 프레임워크를 제안하며, 소규모 데이터셋에서 비선형 시스템 식별 및 인간 운동 모델링 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We define Recurrent Gaussian Processes (RGP) models, a general family of Bayesian nonparametric models with recurrent GP priors which are able to learn dynamical patterns from sequential data. Similar to Recurrent Neural Networks (RNNs), RGPs can have different formulations for their internal states, distinct inference methods and be extended with deep structures. In such context, we propose a novel deep RGP model whose autoregressive states are latent, thereby performing representation and dynamical learning simultaneously. To fully exploit the Bayesian nature of the RGP model we develop the Recurrent Variational Bayes (REVARB) framework, which enables efficient inference and strong regularization through coherent propagation of uncertainty across the RGP layers and states. We also introduce a RGP extension where variational parameters are greatly reduced by being reparametrized through RNN-based sequential recognition models. We apply our model to the tasks of nonlinear system identification and human motion modeling. The promising obtained results indicate that our RGP model maintains its highly flexibility while being able to avoid overfitting and being applicable even when larger datasets are not available.

연구 동기 및 목표

• 복잡한 시간적 동역학을 순차 데이터에서 모델링하기 위한 베이지안 비모수 프레임워크를 개발하는 것.
• 기본 GP-NARX 모델이 은닉 상태를 통해 불확실성을 전파하는 데에 한계가 있음을 해결하는 것.
• 변분 추론을 통해 역동적 표현과 잠재 상태 전이를 종단 간 학습할 수 있도록 하는 것.
• RNN 기반 순차 인식 모델을 통해 모델 복잡도를 감소시키고 최적화 효율성을 향상시키는 것.
• 제한된 데이터에서 비선형 시스템 식별 및 인간 운동 모델링에 대한 방법의 효과성을 입증하는 것.

제안 방법

• 은닉 상태가 직접 관측되지 않고 가우시안 프로세스 사전분포를 통해 추론되는 잠재 자기회귀 상태를 갖는 새로운 딥 RGP 모델을 제안한다.
• RGP 레이어와 시간 단계 간에 일관되고 효율적인 불확실성 전파를 수행하기 위해 순환 변분 베이즈(REVARB) 프레임워크를 개발한다.
• 반복적 GP 모델에서의 추론이 불가능한 사후분포를 다루기 위해 구조화된 추론을 사용하는 평균장 변분 근사법을 사용한다.
• 변분 사후분포를 매개변수화하기 위해 RNN 기반 순차 인식 모델을 도입하여 변분 매개변수의 수를 감소시킨다.
• 제어 신호를 사용하여 비선형 시스템 식별 및 인간 운동 생성에 모두 모델을 적용한다.
• 스pars한 GP 근사와 유도점(inducing points)을 적용하여 더 큰 시퀀스에까지 방법을 스케일링한다.

실험 결과

연구 질문

• RQ1 순환 GP 사전분포를 갖는 베이지안 비모수 모델이 순차 데이터의 복잡한 시간적 동역학을 효과적으로 포착할 수 있는가?
• RQ2 딥 순환 GP 구조에서 불확실성이 시간에 따라 일관되게 전파될 수 있는가?
• RQ3 잠재 자기회귀 구조가 표준 GP-NARX 모델에 비해 일반화 및 표현 학습을 향상시킬 수 있는가?
• RQ4 REVARB 프레임워크가 RGP 모델에서 효율적인 훈련과 강력한 정규화를 가능하게 하는가?
• RQ5 인간 운동 합성 작업에서 미리 보지 못한 제어 신호에 모델이 일반화될 수 있는가?

주요 결과

• REVARB 모델은 인간 운동 예측에서 테스트 RMSE 0.8600을 달성하여 GP-NARX(0.8987)와 MLP-NARX(1.2141)를 능가했다.
• 잠재 자기회귀 구조 덕분에 GP-NARX가 각 출력마다 별도의 모델이 필요한 것과 달리, 57개의 모든 운동 출력에 대해 단일 모델로 훈련이 가능했다.
• 간단한 제어 신호인 속도로부터 현실적인 인간 운동 시퀀스를 성공적으로 생성했으며, 걷기와 달리기 사이의 전이도 포함했다.
• REVARB 프레임워크는 제한된 데이터에서도 불확실성 전파를 효과적으로 처리하여 과신을 완화했다.
• RNN 기반 인식 모델은 변분 매개변수의 수를 크게 감소시켜 최적화 효율성을 향상시켰다.
• 소규모 데이터셋에서 강력한 일반화 및 강인성을 입증하여, 이 방법이 저자료 환경에 적합함을 확인했다.