[论文解读] Learning Dynamical Systems from Partial Observations

Ibrahim Ayed, Emmanuel de Bézenac+3 more|arXiv (Cornell University)|Feb 26, 2019

Model Reduction and Neural Networks参考文献 38被引用 54

一句话总结

本论文提出一个数据驱动框架，从部分观测 Y 中嵌入一个连续时间常微分方程 F_theta(X) 来学习一个随时间变化的动力学，并使用对偶法训练以预测并揭示隐藏状态，在流体和海洋仿真中得到验证。

ABSTRACT

We consider the problem of forecasting complex, nonlinear space-time processes when observations provide only partial information of on the system's state. We propose a natural data-driven framework, where the system's dynamics are modelled by an unknown time-varying differential equation, and the evolution term is estimated from the data, using a neural network. Any future state can then be computed by placing the associated differential equation in an ODE solver. We first evaluate our approach on shallow water and Euler simulations. We find that our method not only demonstrates high quality long-term forecasts, but also learns to produce hidden states closely resembling the true states of the system, without direct supervision on the latter. Additional experiments conducted on challenging, state of the art ocean simulations further validate our findings, while exhibiting notable improvements over classical baselines.

研究动机与目标

• 从部分观测预测复杂的时空过程

提出的方法

• 用 dX_t/dt = F_theta(X_t) 建模 X_t，观测 Y_t = H(X_t)
• 通过连续时间最优控制设定从数据学习 F_theta 和初始条件 g_theta
• 使用伴随状态方法计算梯度，并通过时间反向传播来训练 theta
• 对前向和后向动力学（欧拉法）进行离散化，并通过对 J = ∫ ||Y_t - H(X_t)||^2 dt 进行梯度下降来训练
• 在未观测到完整状态时，通过编码器 g_theta 或 E_theta 处理部分初始化
• 在包括 Glorys2v4 的仿真和真实数据集上进行评估，以与基线进行比较

实验结果

研究问题

• RQ1 神经网络是否能够从部分观测中学习潜在的连续时间动力学？
• RQ2 在无直接监督的情况下，模型是否能够在长时间尺度上预测观测并推断隐藏状态？
• RQ3 在不规则或部分初始信息以及现实世界高维场景下，该方法的性能如何？

主要发现

• 在部分观测设置下，该方法在浅水与 Euler 方程的长期预测中取得高质量结果。
• 模型推断的隐藏状态在没有直接监督的情况下与真实隐藏动力学高度相似。
• 在 Glorys2v4 上，所提出的方法在预测观测值的时间步长为 K=5 和 K=10 时优于基线（0.124 vs 0.145；0.231 vs 0.250）。
• 在估计变体下，均方误差进一步改进到 0.113（K=5）和 0.209（K=10）。
• 隐藏状态评估显示所提出方法的余弦相似度更高（K=5 时 0.782，K=10 时 0.678）比基线（PKnI: 0.448, 0.371；ConvLSTM: 未报告）。
• 在 Glorys2v4 上，该方法在所报告的指标上优于 ConvLSTM 基线。