[论文解读] Extreme Theory of Functional Connections: A Physics-Informed Neural Network Method for Solving Parametric Differential Equations

Enrico Schiassi, Carl Leake+4 more|arXiv (Cornell University)|May 15, 2020

Model Reduction and Neural Networks参考文献 35被引用 11

一句话总结

该论文提出了极值函数连接理论（X-TFC），一种基于物理信息神经网络的方法，利用单层极限学习机（ELM）求解参数化常微分方程（ODEs）和偏微分方程（PDEs）。通过将解析约束嵌入基于神经网络的解中，X-TFC在毫秒级别内实现机器精度，对于二维非线性PDEs，其精度比最先进方法高出多达11个数量级，同时保持了较低的计算成本。

ABSTRACT

In this work we present a novel, accurate, and robust physics-informed method for solving problems involving parametric differential equations (DEs) called the Extreme Theory of Functional Connections, or X-TFC. The proposed method is a synergy of two recently developed frameworks for solving problems involving parametric DEs, 1) the Theory of Functional Connections, TFC, and the Physics-Informed Neural Networks, PINN. Although this paper focuses on the solution of exact problems involving parametric DEs (i.e. problems where the modeling error is negligible) with known parameters, X-TFC can also be used for data-driven solutions and data-driven discovery of parametric DEs. In the proposed method, the latent solution of the parametric DEs is approximated by a TFC constrained expression that uses a Neural Network (NN) as the free-function. This approximate solution form always analytically satisfies the constraints of the DE, while maintaining a NN with unconstrained parameters, like the Deep-TFC method. X-TFC differs from PINN and Deep-TFC; whereas PINN and Deep-TFC use a deep-NN, X-TFC uses a single-layer NN, or more precisely, an Extreme Learning Machine, ELM. This choice is based on the properties of the ELM algorithm. In order to numerically validate the method, it was tested over a range of problems including the approximation of solutions to linear and non-linear ordinary DEs (ODEs), systems of ODEs (SODEs), and partial DEs (PDEs). Furthermore, a few of these problems are of interest in physics and engineering such as the Classic Emden-Fowler equation, the Radiative Transfer (RT) equation, and the Heat-Transfer (HT) equation. The results show that X-TFC achieves high accuracy with low computational time and thus it is comparable with the other state-of-the-art methods.

研究动机与目标

• 开发一种快速、准确且鲁棒的方法，用于求解具有已知参数的参数化微分方程（DEs）。
• 在物理信息框架下，将函数连接理论（TFC）的约束强制能力与极限学习机（ELM）的高效性相结合。
• 实现在最小计算时间内的线性和非线性ODEs、ODE系统以及PDEs的高精度求解。
• 将物理信息神经网络的适用范围扩展至实时和高维问题，包括最优控制和输运理论。
• 为未来从确定性和概率性数据中实现参数化DEs的数据驱动发现奠定基础。

提出的方法

• 使用TFC约束表达式近似参数化DEs的潜在解，该表达式可解析满足边界和初始条件。
• TFC表达式中的自由函数被建模为使用极限学习机（ELM）算法的单层前馈神经网络（SLFN）。
• ELM随机初始化输入权重和偏置，然后通过最小二乘法计算输出权重，从而消除迭代训练，显著降低训练时间。
• 该方法将物理约束直接嵌入网络结构中，确保所有解均通过构造满足DE约束。
• 由于约束的解析满足，损失函数在DE残差上最小化，无需引入惩罚项。
• 该框架已扩展至二维和三维时间依赖的非线性PDEs，展示了在高维空间中的可扩展性和鲁棒性。

实验结果

研究问题

• RQ1 使用单层ELM的物理信息神经网络能否在求解参数化ODEs和PDEs时达到机器精度？
• RQ2 在非线性和高维PDEs方面，X-TFC与最先进方法相比，在精度和计算效率上表现如何？
• RQ3 X-TFC能否有效应用于需要高精度、低延迟解的实时和最优控制问题？
• RQ4 X-TFC在从噪声或稀疏数据中实现参数化DEs的数据驱动发现方面，其适用范围在多大程度上可扩展？
• RQ5 不同激活函数和输入权重分布对X-TFC在复杂问题中的性能有何影响？

主要发现

• X-TFC在毫秒内实现了线性和非线性ODEs及ODE系统达到机器精度（误差量级为10^-15）。
• 对于二维非线性PDEs，X-TFC在精度上比最先进方法高出4至11个数量级，测试集最大误差为2.978 × 10^-5，平均误差为8.082 × 10^-7。
• 该方法在三维时间依赖的非线性PDEs中仍保持高精度和低计算成本，证明其在超越二维问题上的可扩展性。
• X-TFC在精度上与经典TFC方法相当，但因ELM的非迭代学习机制，训练时间显著减少。
• 该框架在实时应用方面展现出强大潜力，例如航空航天任务中的最优控制，包括燃料最优着陆和轨道转移。
• 未来工作表明，X-TFC可扩展至非矩形区域，并可通过引入新型激活函数和输入权重分布进一步增强。