[论文解读] A unified scalable framework for causal sweeping strategies for Physics-Informed Neural Networks (PINNs) and their temporal decompositions

Michael Penwarden, Ameya D. Jagtap+3 more|arXiv (Cornell University)|Feb 28, 2023

Model Reduction and Neural Networks参考文献 48被引用 9

一句话总结

本 | 文献提出一个统一框架，在时间相关的偏微分方程的 PINNs 和 XPINNs 中强制因果性，提出堆叠分解和窗口扫描方法，结合迁移学习启发的初始化以及一个用于时间扫描的求解点算法，以提升训练速度和可扩展性。

ABSTRACT

Physics-informed neural networks (PINNs) as a means of solving partial differential equations (PDE) have garnered much attention in the Computational Science and Engineering (CS&E) world. However, a recent topic of interest is exploring various training (i.e., optimization) challenges - in particular, arriving at poor local minima in the optimization landscape results in a PINN approximation giving an inferior, and sometimes trivial, solution when solving forward time-dependent PDEs with no data. This problem is also found in, and in some sense more difficult, with domain decomposition strategies such as temporal decomposition using XPINNs. We furnish examples and explanations for different training challenges, their cause, and how they relate to information propagation and temporal decomposition. We then propose a new stacked-decomposition method that bridges the gap between time-marching PINNs and XPINNs. We also introduce significant computational speed-ups by using transfer learning concepts to initialize subnetworks in the domain and loss tolerance-based propagation for the subdomains. Finally, we formulate a new time-sweeping collocation point algorithm inspired by the previous PINNs causality literature, which our framework can still describe, and provides a significant computational speed-up via reduced-cost collocation point segmentation. The proposed methods form our unified framework, which overcomes training challenges in PINNs and XPINNs for time-dependent PDEs by respecting the causality in multiple forms and improving scalability by limiting the computation required per optimization iteration. Finally, we provide numerical results for these methods on baseline PDE problems for which unmodified PINNs and XPINNs struggle to train.

研究动机与目标

• 描述前向 PINNs 与 XPINNs 的训练挑战及其与信息传播的关系。
• 提出一个跨越时间片和域分解方法的统一因果性强制框架。
• 引入堆叠分解和窗口扫描方法，以连接时间推进的 PINNs 和 XPINNs。
• 利用迁移学习思路加速子域训练并实现基于损失容忍的子域传播。
• 提出一种时间扫描型配点算法，在保持因果性的同时加速计算。

提出的方法

• 将因果性强制分为硬性、软性及结合式方法，以映射现有方法。
• 引入堆叠分解，将 XPINNs 与时间推进的 PINNs 连接起来以实现因果训练。
• 提出窗口扫描配点算法，以限制残差评估并持续强制因果性。
• 将迁移学习概念融入，以在子域中初始化子网络以实现更快收敛。
• 开发一种基于损失容忍的跨子域传播机制以加速训练。
• 给出一种时间扫描配点策略，受先前因果性文献启发，在保持精度的同时降低配点成本。

实验结果

研究问题

• RQ1 信息传播动力学和因果性强制如何影响前向、时间相关PDE的 PINN 与 XPINN 的训练？
• RQ2 一个统一框架是否能够连接时间推进的 PINNs 与 XPINNs，以克服训练挑战？
• RQ3 堆叠分解和窗口扫描技术是否提升训练速度、可扩展性与鲁棒性？
• RQ4 是否有迁移学习启发的初始化和基于损失容忍的传播在不牺牲准确性的前提下降低计算成本？
• RQ5 时间扫描配点算法如何影响跨域的效率与因果性强制？

主要发现

• 提出一个统一框架，通过以多种形式强制因果性来解决 PINNs 与 XPINNs 的训练挑战。
• 堆叠分解桥接时间推进的 PINNs 与 XPINNs，形成一个因果 XPINN 框架。
• 窗口扫描配点算法在强制因果性的同时降低计算成本，带来显著的加速。
• 迁移学习启发的初始化显著加速子域训练。
• 基于损失容忍的跨子域传播在不影响稳定性的前提下加速训练。
• 数值结果显示在未修改的 PINNs 与 XPINNs 在基线PDE问题上的可训练性提升。