[논문 리뷰] Learning unknown ODE models with Gaussian processes

Markus Heinonen, Çağatay Yıldız외 3명|arXiv (Cornell University)|2018. 03. 12.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 21

한 줄 요약

이 논문은 비모수적 가우시안 프로세스 기반의 npODE를 소개한다. 이는 비모수적 형식을 가정하지 않고 희소하고 노이즈가 많은 관측치로부터 알려지지 않은 비선형 상미분방정식(OED) 역학을 직접 학습하는 프레임워크이다. 미분 함수를 유도점과 함께 가우시안 프로세스 벡터장으로 모델링하고, 정확한 ODE 통합을 위해 민감도 방정식을 사용함으로써, 연속 시간에서 정확한 예측과 누락 데이터 보정이 가능해지며, 인간 운동 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

In conventional ODE modelling coefficients of an equation driving the system state forward in time are estimated. However, for many complex systems it is practically impossible to determine the equations or interactions governing the underlying dynamics. In these settings, parametric ODE model cannot be formulated. Here, we overcome this issue by introducing a novel paradigm of nonparametric ODE modelling that can learn the underlying dynamics of arbitrary continuous-time systems without prior knowledge. We propose to learn non-linear, unknown differential functions from state observations using Gaussian process vector fields within the exact ODE formalism. We demonstrate the model's capabilities to infer dynamics from sparse data and to simulate the system forward into future.

연구 동기 및 목표

• 기본 ODE 구조가 완전히 알려져 있지 않으며, 이를 모수적 형식으로 표현할 수 없는 복잡한 역학 시스템을 모델링하는 데 도전한다.
• 기울기 매칭 근사치를 피하고 관측 데이터로부터 진정한 ODE 벡터장 직접 학습이 가능한 베이지안 비모수적 방법을 개발한다.
• 희소하고 노이즈가 많은 관측치로부터 조차도 연속 시간에서 정확한 장기 예측 및 데이터 보정을 가능하게 한다.
• 불확실성 정량화와 미래 상태 예측을 지원하는 완전히 미분 가능한 정확한 ODE 추론 프레임워크를 제공한다.

제안 방법

• 알려지지 않은 ODE 벡터장 f(x)를 상태 공간 전역에 걸쳐 전체 공분산 커널을 가진 다변량 가우시안 프로세스로 모델링한다.
• 유도점 기반의 희소 GP 근사법을 사용하여 추론 가능성을 확보함으로써 고차원 데이터로부터의 스케일러블 학습을 가능하게 한다.
• 수치적 해법을 사용해 정확한 ODE 통합을 수행하며, 가능성 최적화를 위한 민감도 방정식을 통해 기울기를 계산한다.
• 가능도는 기울기 매칭을 피하기 위해 전체 전방 시뮬레이션 궤적을 관측 데이터와 비교하여 계산한다.
• 차원 감소를 위해 주성분 분석 또는 GPLVM을 이용한 은닉 공간 표현을 사용하며, 재구성 결과를 원래 공간으로 투영하여 평가한다.
• 부분 관측치로부터의 기반 역학을 학습함으로써 예측 및 데이터 보정 작업을 모두 지원한다.

실험 결과

연구 질문

• RQ1 비모수적 베이지안 모델은 모수적 형식을 가정하지 않고 희소하고 노이즈가 많은 관측치로부터 임의의 알려지지 않은 비선형 ODE 역학을 직접 학습할 수 있는가?
• RQ2 가우시안 프로세스 벡터장과 함께 정확한 ODE 통합은 기울기 매칭 또는 근사 방법보다 예측 정확도에서 어떻게 비교되는가?
• RQ3 모델은 연속 시간에서 장기 예측 및 누락 데이터 보정으로 일반화될 수 있는가?
• RQ4 민감도 방정식의 사용은 비모수적 설정에서 전체 ODE 해의 효율적이고 정확한 최적화를 가능하게 하는가?

주요 결과

• npODE는 인간 운동 데이터셋에서 미래 자세 예측 성능이 최상위 수준이며, 궤적에서 다섯 개 자세를 정확히 예측한다.
• 특히 장기 예측에서 실제 역학을 유지하는 데 있어 GPDM 및 VGPLVM보다 성능이 뛰어나다.
• 예측 과제에서 전체 데이터셋 평균적으로 가장 낮은 평균 오차를 기록하여 뛰어난 일반화 능력을 입증한다.
• 비정상적인 역학을 처리하고 20%의 데이터가 누락된 경우에도 복잡한 운동 패턴을 성공적으로 재구성한다.
• 민감도 기반 기울기를 사용한 정확한 ODE 통합은 기울기 매칭 근사치보다 더 정확하고 안정적인 학습을 이끈다.