[논문 리뷰] Overcoming Mean-Field Approximations in Recurrent Gaussian Process Models

Alessandro Davide Ialongo, Mark van der Wilk외 2명|arXiv (Cornell University)|2019. 01. 01.

Gaussian Processes and Bayesian Inference인용 수 10

한 줄 요약

이 논문은 가우시안 프로세스 상태공간 모델(GPSSM)을 위한 새로운 변분 추론 방법인 VCDT를 제안한다. 이 방법은 은닉 경로와 GP 전이 함수 사후분포 간의 직접적 연관성을 명시적으로 모델링함으로써, 평균장 근사( mean-field approximation)를 제거한다. 상태와 역학 간의 종속성을 모델링함으로써, 계산 복잡도를 증가시키지 않으면서도 예측 성능을 향상시키고 불확실성 추정을 더 캘리브레이션된 방식으로 개선한다. 평균장 기반 기존 방법들과 비교해도 이점이 있다.

ABSTRACT

We identify a new variational inference scheme for dynamical systems whose transition function is modelled by a Gaussian process. Inference in this setting has either employed computationally intensive MCMC methods, or relied on factorisations of the variational posterior. As we demonstrate in our experiments, the factorisation between latent system states and transition function can lead to a miscalibrated posterior and to learning unnecessarily large noise terms. We eliminate this factorisation by explicitly modelling the dependence between state trajectories and the Gaussian process posterior. Samples of the latent states can then be tractably generated by conditioning on this representation. The method we obtain (VCDT: variationally coupled dynamics and trajectories) gives better predictive performance and more calibrated estimates of the transition function, yet maintains the same time and space complexities as mean-field methods. Code is available at: github.com/ialong/GPt.

연구 동기 및 목표

• 반복적 GP 모델에서 평균장 변분 추론의 한계를 해결하기 위해, 일반적으로 사후분포가 잘못 캘리브레이션되고 노이즈가 과대평가되는 문제를 해결한다.
• 은닉 상태와 전이 함수 간의 독립성 가정을 제거하면서도 평균장 방법의 스케일러빌리티를 유지하는 계산적으로 효율적인 추론 기법을 개발한다.
• 특히 데이터가 적은 상황에서 베이지안 역학계의 불확실성 정량화와 예측 성능을 향상시킨다.
• 시스템 경로와 전이 역학 간 진정한 종속성 구조를 더 잘 반영하는 보다 정확한 사후분포 근사 방법을 제공한다.

제안 방법

• 은닉 상태 경로 X와 GP 전이 함수 f 간의 종속성을 명시적으로 모델링하는 비요소화된 변분 사후분포를 제안하며, 상태 사후분포를 GP의 유도 변수 u에 조건화함으로써 이를 달성한다.
• 은닉 상태의 조건부 사후분포 q(X | u, f)를 구조화된 변분 근사로 사용하여, GP 사후분포의 저랭크 구조를 활용함으로써 O(NM²)의 시간 및 공간 복잡도를 유지하며, 평균장 방법과 동일한 복잡도를 확보한다.
• 유도 변수 u에 기반한 상태 사후분포를 매개변수화하기 위해 인식 모델을 활용하여 엔드 투 엔드 학습을 가능하게 한다.
• 은닉 상태와 역학의 공동 사후분포를 고려한 변분 하한을 유도함으로써, q(X)q(f)로 인해 발생하는 편향을 피한다.
• 변분 목표함수 내 기대값을 근사하기 위해 몬테카를로 샘플링과 확률적 경사하강법을 활용하여 계산의 실현 가능성을 확보한다.
• 표준 변분 GP 방법의 계산 효율성을 유지하면서도 효과적인 기울기 추정이 가능한 双중 스토하스틱 추론 체계를 도입한다.

실험 결과

연구 질문

• RQ1 은닉 상태와 전이 함수 간의 평균장 가정을 제거하면 GPSSM에서 사후분포의 캘리브레이션 성능이 향상되는가?
• RQ2 평균장 방법과 동일한 계산 복잡도를 유지하면서도 비요소화된 변분 사후분포를 구성할 수 있는가?
• RQ3 기존 방법들과 비교해 볼 때, 제안된 방법은 예측 성능와 불확실성 추정 측면에서 어떤가?
• RQ4 이 방법은 평균장 추론이 역학계에서 과도하게 프로세스 노이즈를 과대평가하는 경향을 줄이는가?

주요 결과

• VCDT는 평균장 기반 기준보다 유의미하게 뛰어난 예측 성능를 보이며, 최고의 요소화된 방법 대비 Cart and Pole 벤치마크에서 NLPP가 2.5배 향상되었다.
• 요소화된 방법 대비 학습된 프로세스 노이즈 표준편차를 최대 50%까지 감소시켜, 노이즈가 아닌 역학적 구조에 의해 데이터를 더 잘 설명함을 시사한다.
• 시스템 식별 벤치마크에서 VCDT는 모든 GPSSM 기준보다 NLPP와 RMSE 측면에서 승리하며, 특히 캘리브레이션의 중요성이 높은 고노이즈 환경에서 두드러진 성능을 보였다.
• VCDT의 사후분포는 요소화된 방법보다 더 잘 캘리브레이션되어 있으며, 독립성 가정으로 인해 과신된 예측과 체계적인 정확도 결여를 보이는 요소화 방법과 대비된다.
• 짧은 시퀀스, 저노이즈 설정인 Cart and Pole 시스템에서도 VCDT는 특수 케이스인 PR-SSM의 성능을 재현하면서도 전체 베이지안 불확실성 정량화를 유지한다.
• VCDT는 평균장 방법과 동일한 O(NM²)의 시간 및 공간 복잡도를 유지하여, 근사 오버헤드 없이 장시간 시퀀스에까지 스케일러블하게 적용 가능하다.