[논문 리뷰] Learning interpretable continuous-time models of latent stochastic dynamical systems

Lea Duncker, Gergő Bohner외 2명|arXiv (Cornell University)|2019. 02. 12.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 30

한 줄 요약

이 논문은 비정규적으로 샘플링된 고차원 관측값에서 잠재적인 연속시간 스토케스틱 동역학 시스템을 학습하기 위해, 확률미분방정식(SDE)의 드리프트 함수에 대한 가우시안 프로세스 사전분포를 사용하는 방법을 제안한다. 고정점과 국소 자코비안을 조건으로 삼아, 이는 전통적인 동역학계의 포트레이트 분석과 유사하게 해석 가능한 모델을 가능하게 한다. 이 접근법은 변분 추론과 희소 GP 근사법을 결합하여 잠재 경로와 동역학을 추론하며, 수치적 안정성이 향상된 비선형 시스템의 해석 가능한 포트레이트 기반 분석을 가능하게 한다.

ABSTRACT

We develop an approach to learn an interpretable semi-parametric model of a latent continuous-time stochastic dynamical system, assuming noisy high-dimensional outputs sampled at uneven times. The dynamics are described by a nonlinear stochastic differential equation (SDE) driven by a Wiener process, with a drift evolution function drawn from a Gaussian process (GP) conditioned on a set of learnt fixed points and corresponding local Jacobian matrices. This form yields a flexible nonparametric model of the dynamics, with a representation corresponding directly to the interpretable portraits routinely employed in the study of nonlinear dynamical systems. The learning algorithm combines inference of continuous latent paths underlying observed data with a sparse variational description of the dynamical process. We demonstrate our approach on simulated data from different nonlinear dynamical systems.

연구 동기 및 목표

• 비정규적으로 샘플링된 고차원 관측값으로부터 잠재적인 연속시간 스토케스틱 동역학 시스템의 반모수적 모델을 개발하기 위해.
• 고정점과 국소 자코비안을 조건으로 삼는 가우시안 프로세스로 드리프트 함수를 모델링하여, 기존의 동역학계 포트레이트와 유사하게 해석 가능성을 확보하기 위해.
• 유도점을 사용한 희소 변분 형식을 통해 잠재 경로와 동역학의 강건한 추론을 가능하게 하기 위해.
• 최적화 과정에서 공분산 행렬의 대칭적 변형을 명시적으로 고려하여 수치적 안정성을 향상시키기 위해.
• 다양한 행동을 보이는 시뮬레이션된 비선형 동역학계에 대해 제안된 방법을 적용하여 성능을 입증하기 위해.

제안 방법

• 동역학은 와이너 과정에 의해 구동되는 비선형 SDE로 모델링되며, 드리프트 함수는 학습된 고정점과 해당 자코비안 행렬을 조건으로 삼는 가우시안 프로세스에서 유래된다.
• 유도점을 사용하여 드리프트 함수에 대한 전체 GP 사전분포를 근사하는 희소 변분 추론 프레임워크가 사용된다.
• 추론 절차는 잠재 상태의 평균과 공분산에 대한 연립 상미분방정식을 시간 역행으로 풀며, 이는 이중 변수에 대해 수행된다.
• 고정점 방정식은 라그랑지안에 대한 변분 미분법을 통해 유도되며, 상태 공분산 행렬의 대칭적 변형을 통합함으로써 안정성을 향상시킨다.
• 잠재 경로 추론은 전진 오일러 적분을, 이중 변수는 역행 적분을 사용하며, 업데이트 과정에서 학습률 파rameter가 필요로 하지 않는다.
• 드리프트 함수를 포함하는 기대값은 잠재 상태에 대한 변분 분포를 사용하여 계산된다.

실험 결과

연구 질문

• RQ1 비정규적으로 샘플링된 고차원 관측값으로부터 비모수적 연속시간 동역학 모델을 학습할 수 있는가?
• RQ2 고정점과 국소 자코비안을 통해 학습된 동역학을 어떻게 기존의 동역학계 이론에서처럼 해석 가능하게 만들 수 있는가?
• RQ3 상태 공분산의 대칭적 변형을 명시적으로 모델링할 경우 추론 안정성에 어떤 영향을 미치는가?
• RQ4 희소 GP 사전분포를 갖는 변분 추론이 잠재 경로와 동역학적 구조를 효과적으로 복원할 수 있는가?
• RQ5 학습률 조정 없이도 기존 방법에 비해 수치적 안정성과 수렴성 측면에서 제안된 방법이 어떻게 우월한가?

주요 결과

• 제안된 방법은 고정점과 국소 자코비안을 식별함으로써 해석 가능한 동역학을 성공적으로 학습하여, 비선형 시스템의 포트레이트 기반 분석을 가능하게 한다.
• 공분산 행렬의 대칭적 변형을 명시적으로 처리함으로써, 이전의 변분 추론 방법에 비해 수치적 안정성이 향상된다.
• 고정점 업데이트가 ODE 해법을 통해 직접 계산되기 때문에, 학습률 파rameter가 필요로 하지 않는 수렴 성능을 보인다.
• 다양한 비선형 시스템에서 유도된 시뮬레이션 데이터에 대해 잠재 경로와 동역학적 구조를 정확하게 복원한다.
• 유도점을 사용한 희소 변분 추론을 통해 고차원적이고 비정규적으로 샘플링된 관측값의 특성에도 불구하고 스케일러블한 학습이 가능하다.
• 드리프트 함수에 대한 비모수적 표현을 유지하면서도 고정점과 안정성 특성 등의 기하학적 특징을 통해 해석 가능성을 유지한다.