[论文解读] Solving differential equations with unknown constitutive relations as recurrent neural networks

Tobias Hagge, Panos Stinis+2 more|arXiv (Cornell University)|Oct 6, 2017

Model Reduction and Neural Networks参考文献 5被引用 15

一句话总结

该论文提出了一种基于循环神经网络（RNN）的新框架，通过将离散化的常微分方程（ODE）动力学直接嵌入RNN训练过程，从部分时间序列数据中学习未知的本构关系。该方法避免求解敏感性方程，支持数千时间步的训练，并在具有高精度和稳定性的连续补料生物反应器模型中成功重构了反应动力学。

ABSTRACT

We solve a system of ordinary differential equations with an unknown functional form of a sink (reaction rate) term. We assume that the measurements (time series) of state variables are partially available, and we use recurrent neural network to "learn" the reaction rate from this data. This is achieved by including a discretized ordinary differential equations as part of a recurrent neural network training problem. We extend TensorFlow's recurrent neural network architecture to create a simple but scalable and effective solver for the unknown functions, and apply it to a fedbatch bioreactor simulation problem. Use of techniques from recent deep learning literature enables training of functions with behavior manifesting over thousands of time steps. Our networks are structurally similar to recurrent neural networks, but differences in design and function require modifications to the conventional wisdom about training such networks.

研究动机与目标

• 解决在仅获得状态变量部分时间序列测量值时，学习ODE中未知函数形式的挑战。
• 克服传统方法在反向传播过程中需要求解敏感性ODE的局限性。
• 利用可扩展的深度学习技术，实现对未知函数中复杂长期动力学行为的训练。
• 开发一种将ODE离散化直接整合到RNN架构中的框架，以提升稳定性和可解释性。
• 在具有间歇性或缺失数据的真实世界连续补料生物反应器模拟中，证明该方法的有效性

提出的方法

• 将控制ODE的离散形式作为可微分层嵌入循环神经网络架构中。
• 扩展TensorFlow的RNN框架，将ODE动力学作为计算图的一部分，实现端到端反向传播。
• 使用长期时间序列数据——包括部分观测或间歇采样数据——作为未知反应速率函数的训练信号。
• 应用现代深度学习技术（如归一化、初始化策略）以缓解训练不稳定性，尽管缺乏标准RNN的记忆机制。
• 通过设计网络结构，使每个时间步均保持ODE系统的动力学约束，以确保物理一致性。
• 使用基于长时间跨度预测误差的损失函数进行网络训练，利用系统对动力学误差的内在敏感性作为监督信号

实验结果

研究问题

• RQ1 是否可以有效调整循环神经网络架构，在无需求解敏感性方程的情况下学习ODE中的未知本构函数？
• RQ2 在数百甚至数千个时间步的长期动力学行为中，未知函数在微分方程中的训练程度如何？
• RQ3 与传统RNN相比，将ODE离散化直接嵌入RNN结构对训练稳定性和收敛性有何影响？
• RQ4 当关键状态变量未被测量或数据时间上间歇时，该方法是否仍能准确重构未知反应动力学？
• RQ5 在ODE系统对初始条件敏感的情况下，哪些初始化和架构选择最能确保学习函数的稳定动力学行为？

主要发现

• 所提出的方法仅使用部分时间序列数据，成功学习了连续补料生物反应器模型中的未知反应速率函数，实现了高精度重构。
• 该框架避免了在反向传播过程中求解敏感性ODE，显著降低了计算开销和复杂度。
• 网络对数据间歇性和关键状态变量缺失表现出鲁棒性，即使关键可观测量未被测量，也能实现训练。
• 该方法实现了数千时间步的稳定训练，利用长期动力学一致性作为监督信号。
• 该架构在结构上与RNN相似，可使用深度学习技术，但其动力学约束使学习结果比标准RNN更具独特性和物理解释性。
• 初始化仍是关键因素；不当选择可能导致因学习函数的非物理解释行为而引发超指数级发散，凸显了精心设计的必要性