[论文解读] LQResNet: A Deep Neural Network Architecture for Learning Dynamic Processes

Pawan Goyal, Peter Benner|arXiv (Cornell University)|Mar 3, 2021

Model Reduction and Neural Networks参考文献 47被引用 5

一句话总结

该论文提出LQResNet，一种融合残差网络与线性-二次（LQ）非线性项的物理信息深度神经网络架构，能够从数据中学习动态过程并整合先验物理知识。该方法通过仅使用状态变量学习残差映射，实现了对复杂动力系统（如神经动力学和糖酵解振荡器）的精确建模，在数据有限的情况下对未见过的初始条件表现出强大的泛化能力。

ABSTRACT

Mathematical modeling is an essential step, for example, to analyze the transient behavior of a dynamical process and to perform engineering studies such as optimization and control. With the help of first-principles and expert knowledge, a dynamic model can be built, but for complex dynamic processes, appearing, e.g., in biology, chemical plants, neuroscience, financial markets, this often remains an onerous task. Hence, data-driven modeling of the dynamics process becomes an attractive choice and is supported by the rapid advancement in sensor and measurement technology. A data-driven approach, namely operator inference framework, models a dynamic process, where a particular structure of the nonlinear term is assumed. In this work, we suggest combining the operator inference with certain deep neural network approaches to infer the unknown nonlinear dynamics of the system. The approach uses recent advancements in deep learning and possible prior knowledge of the process if possible. We also briefly discuss several extensions and advantages of the proposed methodology. We demonstrate that the proposed methodology accomplishes the desired tasks for dynamics processes encountered in neural dynamics and the glycolytic oscillator.

研究动机与目标

• 开发一种深度学习架构，能够有效从时间序列数据中学习复杂的非线性动力系统。
• 将先验物理知识（特别是线性和二次依赖关系）整合到神经网络设计中，以提高数据效率和模型可解释性。
• 解决在完整机理模型未知或不完整时，对高维、非线性动力系统进行建模的挑战。
• 通过将物理结构约束嵌入网络架构，减少过拟合并提高在数据稀缺场景下的泛化能力。
• 在具有复杂混沌动力学的真实生物和生化系统上展示该方法的有效性。

提出的方法

• LQResNet架构使用残差块，其中每个块先应用线性变换，再通过非线性激活函数，非线性部分显式建模为状态变量的线性和二次项组合。
• 网络被训练以预测状态向量的时间导数，从而实现从时间序列数据中对连续时间动力系统的建模。
• 对于动力学可较好近似为线性与二次形式的组分（如糖酵解振荡器中的S3、S4、S5、S7），网络采用固定的LQ结构；对于其他组分（S1、S2、S6），则通过可学习权重学习非线性映射。
• 该方法借鉴算子推理原理，将物理约束嵌入网络架构，以减少参数数量并提高样本效率。
• 架构通过从多种初始条件的模拟中收集的数据进行训练，确保鲁棒性和泛化能力。
• 该方法支持选择性输入特征——例如仅使用S1和S6来预测dS1/dt——基于已知的拓扑依赖关系，从而提升效率。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络架构，在学习非线性动力系统的同时，整合已知的物理结构（如线性和二次依赖关系）？
• RQ2 当在有限且含噪声的数据上进行训练时，此类模型对未见过的初始条件的泛化能力如何？
• RQ3 与纯黑箱深度学习相比，将物理知识嵌入网络架构在多大程度上能提升数据效率并减少过拟合？
• RQ4 在不了解底层方程的情况下，模型能否准确重构如神经和生化系统中复杂的混沌动力学？
• RQ5 在准确性、可解释性和数据需求方面，LQResNet与标准深度学习或符号回归方法相比表现如何？

主要发现

• LQResNet模型在所有状态变量上均高精度地再现了糖酵解振荡器的动力学，包括具有复杂非LQ行为的变量，在未见过的初始条件下表现优异。
• 模型在训练中未使用的初始条件下表现出有效的泛化能力，如图3所示，真实轨迹与预测轨迹高度吻合。
• 采用物理信息驱动的LQ结构显著提升了数据效率并减少了过拟合，尤其在低数据场景下效果明显。
• 该模型仅使用30组初始条件和每条轨迹4,000个时间点，即实现了全系统动力学的精确重构，表明其具有强大的样本效率。
• 即使在底层系统表现出混沌行为时，该方法仍表现出良好的泛化能力，表明对非线性和高维动力学具有鲁棒性。
• 通过引入结构约束，该方法优于纯黑箱深度学习，实现了更好的可解释性并减少了参数数量。