[论文解读] An extended physics informed neural network for preliminary analysis of parametric optimal control problems

Nicola Demo, Maria Strazzullo+1 more|arXiv (Cornell University)|Oct 26, 2021

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出了一种扩展的物理信息神经网络（PINN），通过在损失函数、额外输入特征以及网络架构中同时引入基于物理的约束，加速了参数化最优控制问题（OCPs）的训练并提升了精度。该方法在Burgers问题中将训练周期减少了33%，实现了更快的收敛速度，同时在参数化偏微分方程（PDEs）包括参数化Poisson方程和OCPs中保持了高精度解。

ABSTRACT

In this work we propose an extension of physics informed supervised learning strategies to parametric partial differential equations. Indeed, even if the latter are indisputably useful in many applications, they can be computationally expensive most of all in a real-time and many-query setting. Thus, our main goal is to provide a physics informed learning paradigm to simulate parametrized phenomena in a small amount of time. The physics information will be exploited in many ways, in the loss function (standard physics informed neural networks), as an augmented input (extra feature employment) and as a guideline to build an effective structure for the neural network (physics informed architecture). These three aspects, combined together, will lead to a faster training phase and to a more accurate parametric prediction. The methodology has been tested for several equations and also in an optimal control framework.

研究动机与目标

• 解决在实时和多查询应用中求解参数化PDEs和最优控制问题（OCPs）的高计算成本问题。
• 通过在损失函数正则化之外引入更广泛的物理知识，克服标准PINNs在参数化设置下的局限性。
• 开发一个统一且可扩展的PINN框架，与现有PINN代码向后兼容，同时利用物理知识作为输入特征和网络结构。
• 加速具有参数依赖方程和期望分布的OCPs的训练并提升泛化能力。
• 在Burgers方程和参数化Poisson方程等基准问题上展示该方法的有效性。

提出的方法

• 通过三种机制将物理信息整合到PINN框架中：(1) 损失函数正则化，(2) 额外输入特征（如初始/边界条件、源项），(3) 物理信息神经网络架构设计。
• 在参数化PDEs中，将源项 $ f(oldsymbol{x},m{ u}) = e^{-2((x_0- u_1)^2 + (x_1- u_1)^2)} $ 作为额外输入特征，以提升训练效率。
• 在Burgers问题中采用3层全连接神经网络，神经元数为20–10–5，激活函数为双曲正切函数；在Poisson问题中采用每层20个神经元，激活函数为Softplus函数。
• 使用ADAM优化器进行训练，学习率分别为0.006（Burgers）和0.03（Poisson），共点采样采用拉丁超立方（内部）和均匀分布（边界）。
• 定义损失函数，包含PDE残差最小化、边界条件以及在参数化情形下的参数依赖约束。
• 将参数 $ m{ u} $ 作为网络输入的一部分，以实现对不同参数实例的泛化能力。

实验结果

研究问题

• RQ1 物理信息神经网络能否被扩展以加速参数化最优控制问题的训练并提升精度？
• RQ2 将物理量（如初始条件、源项）作为额外输入特征，对PINN的收敛速度和解精度有何影响？
• RQ3 与标准PINNs相比，设计物理信息网络架构在多大程度上提升了训练效率？
• RQ4 该方法能否在减少训练时间的同时，保持对多样化参数值的高精度，适用于参数化PDEs？
• RQ5 与标准PINN相比，额外特征与物理信息架构的结合在损失收敛和逐点误差方面表现如何？

主要发现

• 在Burgers问题中，将源项作为额外输入特征后，达到0.0001损失容差所需的训练周期从180,000次减少至120,000次，训练时间减少33%。
• 在所有测试的参数实例中，参数化Poisson问题的PINN解与有限元法参考解之间的逐点误差始终低于 $ 3 \cdot 10^{-2} $。
• 在参数化Poisson问题中，该方法对 $ m{ u} = (-0.8, -0.8) $ 和 $ m{ u} = (0.8, 0.8) $ 均实现了准确预测，PINN解与FEM解在视觉和定量上均高度一致。
• 即使在Burgers方程这类复杂问题中（解会出现激波），引入额外特征仍能实现更快收敛，尽管改善程度不如简单情形显著。
• 物理信息架构与特征工程方法与标准PINN实现完全兼容，可轻松集成至现有PINN代码库。
• 该方法在不同类型PDE上表现出鲁棒性与可扩展性，包括双曲型（Burgers）、椭圆型（Poisson）以及最优控制问题，且性能提升一致。