[논문 리뷰] Learning Dynamical Systems from Partial Observations

Ibrahim Ayed, Emmanuel de Bézenac외 3명|arXiv (Cornell University)|2019. 02. 26.

Model Reduction and Neural Networks참고 문헌 38인용 수 54

한 줄 요약

논문은 부분 관측 Y에서 시간에 따라 변하는 미분 방정식 F_theta(X)를 연속 시간 ODE에 내재화하고 어드조인 기반 학습을 사용해 예측하고 숨겨진 상태를 밝히는 데이터 주도 프레임워크를 제시하며 유체와 해양 시뮬레이션에서 입증한다.

ABSTRACT

We consider the problem of forecasting complex, nonlinear space-time processes when observations provide only partial information of on the system's state. We propose a natural data-driven framework, where the system's dynamics are modelled by an unknown time-varying differential equation, and the evolution term is estimated from the data, using a neural network. Any future state can then be computed by placing the associated differential equation in an ODE solver. We first evaluate our approach on shallow water and Euler simulations. We find that our method not only demonstrates high quality long-term forecasts, but also learns to produce hidden states closely resembling the true states of the system, without direct supervision on the latter. Additional experiments conducted on challenging, state of the art ocean simulations further validate our findings, while exhibiting notable improvements over classical baselines.

연구 동기 및 목표

• 부분 관측으로부터 복잡한 시공간 프로세스 예측

제안 방법

• X_t 를 dX_t/dt = F_theta(X_t) 및 관측 Y_t = H(X_t)로 모델링
• 연속 시간 최적 제어 형식으로 데이터로부터 F_theta와 초기 조건 g_theta 를 학습
• 그라디언트를 계산하고 시계열 역전파를 통해 theta 를 학습하기 위해 어드조인 상태 방법 사용
• Forward 및 backward dynamics(오일러) 를 이산화하고 J = ∫ ||Y_t - H(X_t)||^2 dt 를 경사 하강으로 학습
• 전체 상태가 관측되지 않을 때 부분 초기화를 처리(인코더 g_theta 또는 E_theta 를 통해)
• Glorys2v4 를 포함한 시뮬레이션 및 현실 데이터셋에서 벤치마크와 비교 평가

실험 결과

연구 질문

• RQ1 신경망이 부분 관측으로부터 기본적인 연속 시간 역학을 학습할 수 있는가?
• RQ2 직접 감독 없이도 숨겨진 상태를 추정하면서 장기적으로 관측치를 예측할 수 있는가?
• RQ3 불규칙하거나 부분적인 초기 정보 및 현실적인 고차원 설정에서 방법은 어떻게 작동하는가?

주요 결과

모델	K=5	K=10
본 방법	0.124	0.231
본 방법 (추정 포함)	0.113	0.209
PKnI (de Bézenac et al., 2018)	0.145	0.250
ConvLSTM (Shi et al., 2015)	0.137	0.224

• 해당 방법은 부분 관측 설정에서 얕은 물 및 Euler 방정식에 대해 고품질의 장기 예측을 달성한다.
• 모델이 추정한 숨겨진 상태는 직접 감독 없이도 실제 숨겨진 동역학과 가깝게 나타난다.
• Glorys2v4 에서 제안한 방법은 K=5 및 K=10의 예측에서 벤치마크보다 우수한 성능을 보인다(0.124 vs 0.145; 0.231 vs 0.250).
• 추정 버전에서 평균 제곱 오차가 0.113(K=5) 및 0.209(K=10)로 추가 개선된다.
• 숨겨진 상태 평가에서 제안된 방법의 코사인 유사도는(K=5) 0.782, (K=10) 0.678로 벤치마크(PKnI: 0.448, 0.371; ConvLSTM: 보고되지 않음)보다 높다.
• 해당 방법은 Glorys2v4에서 보고된 지표들에서 ConvLSTM 벤치마크를 능가한다.