[论文解读] Bridging Physics-based and Data-driven modeling for Learning Dynamical Systems

Rui Wang, Danielle C. Maddix+3 more|arXiv (Cornell University)|Nov 20, 2020

Model Reduction and Neural Networks参考文献 37被引用 21

一句话总结

本文提出 AutoODE，一种基于物理的深度学习框架，利用自动微分估算机制动力学系统中的参数，在分布偏移下的预测性能显著优于数据驱动模型。研究证明，深度学习模型在数据和参数分布偏移下表现失败——这是 COVID-19 等真实世界动力学系统中的关键挑战——而 AutoODE 通过建模底层系统机理，保持了鲁棒的泛化能力。

ABSTRACT

How can we learn a dynamical system to make forecasts, when some variables are unobserved? For instance, in COVID-19, we want to forecast the number of infected and death cases but we do not know the count of susceptible and exposed people. While mechanics compartment models are widely used in epidemic modeling, data-driven models are emerging for disease forecasting. We first formalize the learning of physics-based models as AutoODE, which leverages automatic differentiation to estimate the model parameters. Through a benchmark study on COVID-19 forecasting, we notice that physics-based mechanistic models significantly outperform deep learning. Our method obtains a 57.4% reduction in mean absolute errors for 7-day ahead COVID-19 forecasting compared with the best deep learning competitor. Such performance differences highlight the generalization problem in dynamical system learning due to distribution shift. We identify two scenarios where distribution shift can occur: changes in data domain and changes in parameter domain (system dynamics). Through systematic experiments on several dynamical systems, we found that deep learning models fail to forecast well under both scenarios. While much research on distribution shift has focused on changes in the data domain, our work calls attention to rethink generalization for learning dynamical systems.

研究动机与目标

• 解决在关键变量（如易感者、潜伏者）未被观测时预测动力学系统的问题，特别是在流行病建模中的挑战。
• 探究尽管在插值任务中表现优异，为何数据驱动的深度学习模型在预测真实世界动力学系统（如 COVID-19）时表现不佳。
• 识别并分析数据域与参数域的分布偏移作为深度学习在动力学系统中泛化能力差的根本原因。
• 开发一种鲁棒的、基于物理的新型方法——AutoODE——通过利用自动微分与机制建模，在未见数据与参数条件下实现泛化。
• 在受控分布偏移条件下，对 SEIR、Lotka-Volterra 和 FitzHugh–Nagumo 等多个动力学系统中的基于物理的模型与深度学习模型进行基准对比。

提出的方法

• 通过数值积分结合自动微分，形式化基于物理模型的参数估计，提出 AutoODE 框架。
• 提出一种新型分层模型 ST-SuEIR，用于 COVID-19 预测，在 7 天预测中相较最佳深度学习基线模型，平均绝对误差降低 57.4%。
• 在已知动力学系统生成的合成时间序列数据上训练深度学习模型（Seq2Seq、FC、Transformer、NeuralODE），控制参数与初始值的变化。
• 在数据与参数偏移的插值（训练域内）和外推（训练域外）测试集上评估模型性能。
• 通过归一化系统参数与初始值，确保跨域比较的公平性，测试集明确设计用于检验分布偏移下的泛化能力。
• 以 RMSE 为主要指标，比较不同分布偏移场景下各模型的预测性能。

实验结果

研究问题

• RQ1 为何尽管在训练数据上表现优异，数据驱动的深度学习模型在预测真实世界动力学系统（如 COVID-19）时仍无法泛化？
• RQ2 数据域中的分布偏移（如新初始条件）如何影响深度学习模型在动力学系统中的泛化性能？
• RQ3 参数域中的分布偏移（如传播率或恢复率变化）如何影响深度学习模型的预测精度？
• RQ4 基于物理的模型（如 AutoODE）是否能在深度学习模型失效的数据与参数域偏移下保持稳健性能？
• RQ5 结合机制理解与深度学习的混合模型在多大程度上可提升动力学系统预测的泛化能力？

主要发现

• 基于物理的模型，尤其是 AutoODE，在预测 COVID-19 累计确诊、康复与死亡病例方面显著优于深度学习模型，尤其在感染与康复病例的预测中表现更优。
• 深度学习模型（Seq2Seq、FC、Transformer、NeuralODE）在 SEIR 动力学的外推测试集上误差极高——RMSE 高达 7.89，而 AutoODE 的误差保持稳定在 0.91–1.02 RMSE 之间，表明其具备更优的泛化能力。
• 在 Lotka-Volterra 动力学中，深度学习模型在参数外推集上的 RMSE 从插值阶段的 0.050 上升至 0.215，而 AutoODE 的误差稳定在 0.054。
• 在 FitzHugh–Nagumo 动力学中，最佳深度学习模型（Seq2Seq）在参数外推集上的 RMSE 为 4.14，而 AutoODE 仅为 0.91，证实其在参数偏移下的鲁棒性。
• 本研究识别出两个关键的分布偏移来源——数据域与参数域——即使模型在训练数据上已“记忆”，仍会严重损害深度学习的性能。
• ST-SuEIR 模型相较最佳深度学习竞争模型，在 7 天预测中实现平均绝对误差 57.4% 的降低，证明了基于物理的建模在真实世界流行病预测中的优势。