[论文解读] Augmented Physics-Informed Neural Networks (APINNs): A gating network-based soft domain decomposition methodology

Zheyuan Hu, Ameya D. Jagtap+2 more|arXiv (Cornell University)|Nov 16, 2022

Model Reduction and Neural Networks参考文献 38被引用 11

一句话总结

该论文提出增强型物理信息神经网络（APINN），一种可学习门控网络实现动态加权多个子网络的软域分解方法，相较于PINN和XPINN在泛化能力和性能上均有提升。APINN避免了界面损失，使子网络能充分利用全部训练数据，并采用部分参数共享，实验表明在复杂PDE问题上性能显著提升，尤其在XPINN表现不如PINN时优势明显。

ABSTRACT

In this paper, we propose the augmented physics-informed neural network (APINN), which adopts soft and trainable domain decomposition and flexible parameter sharing to further improve the extended PINN (XPINN) as well as the vanilla PINN methods. In particular, a trainable gate network is employed to mimic the hard decomposition of XPINN, which can be flexibly fine-tuned for discovering a potentially better partition. It weight-averages several sub-nets as the output of APINN. APINN does not require complex interface conditions, and its sub-nets can take advantage of all training samples rather than just part of the training data in their subdomains. Lastly, each sub-net shares part of the common parameters to capture the similar components in each decomposed function. Furthermore, following the PINN generalization theory in Hu et al. [2021], we show that APINN can improve generalization by proper gate network initialization and general domain & function decomposition. Extensive experiments on different types of PDEs demonstrate how APINN improves the PINN and XPINN methods. Specifically, we present examples where XPINN performs similarly to or worse than PINN, so that APINN can significantly improve both. We also show cases where XPINN is already better than PINN, so APINN can still slightly improve XPINN. Furthermore, we visualize the optimized gating networks and their optimization trajectories, and connect them with their performance, which helps discover the possibly optimal decomposition. Interestingly, if initialized by different decomposition, the performances of corresponding APINNs can differ drastically. This, in turn, shows the potential to design an optimal domain decomposition for the differential equation problem under consideration.

研究动机与目标

• 解决PINN和XPINN在求解PDE时泛化能力不足及界面误差的问题。
• 克服XPINN因子域训练数据减少而带来的过拟合风险，以及对界面损失约束的依赖。
• 开发一种灵活且可学习的域分解机制，以提升解的精度与泛化能力。
• 使子网络能够使用全部训练数据，并通过参数共享捕捉解函数中的共性组件。
• 基于Hu等人（2021）提出的Rademacher复杂度与PINN泛化理论，对APINN的泛化能力提升进行理论证明。

提出的方法

• 引入可学习门控网络，根据输入位置对多个子网络进行软分配加权，模拟XPINN的硬域分解，但采用可学习且可微的划分方式。
• 通过门控网络对子网络输出进行加权平均，从而无需显式引入界面损失项。
• 在子网络之间实施部分参数共享，以建模解函数中的共享组件。
• 将APINN输出形式化为加权和：$ u_{\text{APINN}}(\boldsymbol{x}) = \sum_{j=1}^{m} G(\boldsymbol{x})_j f_j(\boldsymbol{x}) $，其中$ G $为门控网络，$ f_j $为子网络。
• 利用Rademacher复杂度与覆盖数分析推导泛化界，证明APINN在泛化误差上优于PINN和XPINN。
• 可视化门控网络的优化轨迹，以分析域分解质量并识别最优初始化方式。

实验结果

研究问题

• RQ1 可学习的软域分解机制是否能提升APINN在求解PDE时相对于PINN和XPINN的泛化能力与性能？
• RQ2 APINN架构如何缓解XPINN中常见的过拟合与界面误差问题？
• RQ3 门控网络初始化对APINN性能有何影响？是否可指导最优域分解？
• RQ4 子网络间部分参数共享是否有助于学习解函数中的共享功能组件？
• RQ5 能否为APINN推导出理论泛化界？其与PINN和XPINN的泛化界相比如何？

主要发现

• 在XPINN表现与PINN相当或更差的PDE问题上，APINN显著提升了性能，展现出在困难场景下的鲁棒性。
• 在XPINN已优于PINN的PDE问题上，APINN仍带来进一步的微小改进，表明其在各类问题上均具有一致的性能增强效果。
• 门控网络优化轨迹的可视化揭示了与性能相关的明显模式，表明门控形状与动态特性可作为指导最优分解的依据。
• 采用最优分解初始化（如基于物理结构或先验知识）的APINN可实现更优性能，表明其具备基于设计的域分解潜力。
• 理论分析证实，APINN的软性与可学习域分解机制能有效降低泛化误差，尤其在子域函数较复杂时优势更明显。
• 门控网络动态加权子网络的能力使每个子网络均可使用全部数据，相比XPINN中按子域划分数据的方式，有效降低了过拟合风险。