[论文解读] A comparative study of physics-informed neural network models for learning unknown dynamics and constitutive relations

Ramakrishna Tipireddy, Paris Perdikaris+2 more|arXiv (Cornell University)|Apr 2, 2019

Model Reduction and Neural Networks参考文献 14被引用 34

一句话总结

本文比较离散多步方法和连续物理信息神经网络（PINN）方法，以学习未知动力学和本构关系，以fedbatch 生物反应器作为测试案例，结果表明在学习本构关系而非完整动力学时精度更高；离散方法普遍更出色，而连续方法在本构关系方面表现更好。

ABSTRACT

We investigate the use of discrete and continuous versions of physics-informed neural network methods for learning unknown dynamics or constitutive relations of a dynamical system. For the case of unknown dynamics, we represent all the dynamics with a deep neural network (DNN). When the dynamics of the system are known up to the specification of constitutive relations (that can depend on the state of the system), we represent these constitutive relations with a DNN. The discrete versions combine classical multistep discretization methods for dynamical systems with neural network based machine learning methods. On the other hand, the continuous versions utilize deep neural networks to minimize the residual function for the continuous governing equations. We use the case of a fedbatch bioreactor system to study the effectiveness of these approaches and discuss conditions for their applicability. Our results indicate that the accuracy of the trained neural network models is much higher for the cases where we only have to learn a constitutive relation instead of the whole dynamics. This finding corroborates the well-known fact from scientific computing that building as much structural information is available into an algorithm can enhance its efficiency and/or accuracy.

研究动机与目标

• 推动将物理知识与数据结合，以在动态系统中学习未知动力学和本构关系。
• 系统性地比较四种 PINN 变体（离散多步和连续 PINN）在学习动力学和本构关系方面的表现。
• 在可处理且敏感的 fedbatch 生物反应器模型上评估这些方法，以揭示适用性和局限性。
• 证明在学习中融入已知结构可提升计算效率和准确性。

提出的方法

• 当 f 完全未知时，用神经网络建模未知动力学 f(y,t;λ)。
• 结合多步离散化与 PINNs 来学习 f，或学习本构关系 λ(y)。
• 在支配动力学已知而 λ 未知时，用神经网络表示本构关系。
• 应用连续 PINN 公式，通过最小化残差和数据拟合项来学习 y(t) 和 f(y,t)。
• 比较离散多步神经网络和连续 PINN 方法在学习动力学或本构关系方面的表现。
• 以 fedbatch 生物反应器（FBR）模型作为测试用例，Haldane 动力学作为 ground truth。

实验结果

研究问题

• RQ1 哪种 PINN 变体（离散多步 vs. 连续）在学习未知动力学与本构关系方面更准确？
• RQ2 将已知物理规律（动力学或本构关系）融入神经网络学习是否能够提升预测准确性和数据效率？
• RQ3 初始条件和训练数据时长如何影响各方法的插值与外推性能？
• RQ4 CPINN 是否能够在复杂生物反应器模型中可靠地学习对状态变量非线性依赖的本构关系？

主要发现

• 离散多步神经网络在未知动力学与本构关系的学习上都表现出色。
• 连续 PINN 在学习本构关系方面表现突出，但在此情境下对未知动力学的表现可能不如离散方法。
• 学习本构关系通常比学习完整动力学获得更高的准确性，因为利用了已知物理结构。
• CPINN 能够准确推断类似 μ(S) 的本构关系，并在新条件下用于预测系统行为。
• CPINN 在有限或非均匀数据下学习未知动力学时可能遇到困难，可能需要额外的约束或数据。
• 当数据稀缺或初始条件变化时，使用多条短轨迹可以改善学习。