[论文解读] Improving physics-informed DeepONets with hard constraints

Rüdiger Brecht, Dmytro R. Popovych+2 more|arXiv (Cornell University)|Sep 14, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用 3

一句话总结

本文提出将硬约束整合到物理信息DeepONets中，以精确表示初始条件和边界条件，从而消除对基于损失函数的条件学习的依赖。通过采用残差式结构将初始数据直接嵌入网络架构，该方法确保了时间推进过程中的解连续性，并在包括KdV方程在内的基准PDE上，与软约束基线相比，误差最高降低80%。

ABSTRACT

Current physics-informed (standard or deep operator) neural networks still rely on accurately learning the initial and/or boundary conditions of the system of differential equations they are solving. In contrast, standard numerical methods involve such conditions in computations without needing to learn them. In this study, we propose to improve current physics-informed deep learning strategies such that initial and/or boundary conditions do not need to be learned and are represented exactly in the predicted solution. Moreover, this method guarantees that when a deep operator network is applied multiple times to time-step a solution of an initial value problem, the resulting function is at least continuous.

研究动机与目标

• 解决物理信息神经网络在每次面对新的初始或边界条件时需要重新训练所导致的计算效率低下问题。
• 克服软约束DeepONets在迭代时间推进过程中因不稳定性导致的误差累积问题。
• 开发一种DeepONet架构，使其在不依赖损失函数惩罚的情况下，精确满足初始和边界条件。
• 证明硬约束DeepONets在准确性和解连续性方面优于软约束基线模型。
• 通过精确表示初始条件，实现时间依赖PDE的高效、可重用解算子。

提出的方法

• 通过残差架构实现硬约束：$ u(t,x) \approx \mathcal{G}^{\theta}(\mathbf{\Phi})(t,x) = u_0(x,a,c) + \frac{t}{T} \mathcal{G}^{\theta}_{\rm t}(\mathbf{\Phi})(t,x) $，其中 $ \mathbf{\Phi} $ 编码传感器点处的初始条件。
• 在空间域内均匀采样 $ N_{\rm s} = 100 $ 个点的初始条件，作为DeepONet的输入。
• 损失函数被简化为仅依赖于PDE残差，因为初始和边界条件已由网络结构预先满足。
• 时间推进通过递归应用训练好的DeepONet实现，将前一时间步的输出作为新的初始条件。
• 在阻尼摆、泊松方程和具有精确孤子解的Korteweg–de Vries（KdV）方程上评估该方法。
• 在时间区间 $[0,10]$ 和 $[0,100]$ 内，通过与参考解的RMSE比较，对软约束和硬约束DeepONets进行对比。

实验结果

研究问题

• RQ1 与软约束相比，对初始条件施加硬约束是否能提高物理信息DeepONets的准确性？
• RQ2 精确强制初始条件是否能防止在迭代时间推进过程中的误差累积？
• RQ3 硬约束DeepONet在时间依赖PDE（如KdV方程）上的表现如何？
• RQ4 硬约束架构是否能通过消除学习边界条件的需求，从而简化优化问题？
• RQ5 在执行多个时间步时，硬约束对解连续性有何影响？

主要发现

• 在KdV方程上，与软约束基线相比，硬约束DeepONet在一次时间步后RMSE降低53%，在十次时间步后降低80%。
• 经过十次时间步后，软约束DeepONet的误差约为硬约束版本的五倍。
• 硬约束方法确保了时间推进过程中的解连续性，而软约束方法在各时间步之间表现出跳跃。
• 损失函数被简化为仅依赖于PDE残差，因为初始和边界条件由网络结构满足，而非通过优化过程。
• 该方法实现了初始条件的精确表示，而无需在训练过程中学习这些条件。
• 该方法在使用迭代时间推进的时间依赖PDE中特别有效，因为它避免了因初始数据不一致导致的误差传播。