[論文レビュー] A unified scalable framework for causal sweeping strategies for Physics-Informed Neural Networks (PINNs) and their temporal decompositions

Michael Penwarden, Ameya D. Jagtap+3 more|arXiv (Cornell University)|Feb 28, 2023

Model Reduction and Neural Networks参考文献 48被引用数 9

ひとこと要約

論文は、time-dependent PDEs の PINNs および XPINNs における因果性を統一的に強制する枠組みを導入し、stacked-decomposition と window-sweeping の方法を提案し、転移学習にインスパイアされた初期化と時刻スイープ型コロケーションアルゴリズムを用いて学習速度とスケーラビリティを改善する。

ABSTRACT

Physics-informed neural networks (PINNs) as a means of solving partial differential equations (PDE) have garnered much attention in the Computational Science and Engineering (CS&E) world. However, a recent topic of interest is exploring various training (i.e., optimization) challenges - in particular, arriving at poor local minima in the optimization landscape results in a PINN approximation giving an inferior, and sometimes trivial, solution when solving forward time-dependent PDEs with no data. This problem is also found in, and in some sense more difficult, with domain decomposition strategies such as temporal decomposition using XPINNs. We furnish examples and explanations for different training challenges, their cause, and how they relate to information propagation and temporal decomposition. We then propose a new stacked-decomposition method that bridges the gap between time-marching PINNs and XPINNs. We also introduce significant computational speed-ups by using transfer learning concepts to initialize subnetworks in the domain and loss tolerance-based propagation for the subdomains. Finally, we formulate a new time-sweeping collocation point algorithm inspired by the previous PINNs causality literature, which our framework can still describe, and provides a significant computational speed-up via reduced-cost collocation point segmentation. The proposed methods form our unified framework, which overcomes training challenges in PINNs and XPINNs for time-dependent PDEs by respecting the causality in multiple forms and improving scalability by limiting the computation required per optimization iteration. Finally, we provide numerical results for these methods on baseline PDE problems for which unmodified PINNs and XPINNs struggle to train.

研究の動機と目的

• 正向の PINNs および XPINNs のトレーニング上の課題と情報伝播との関係を特徴づける。
• 時 slab および domain-decomposition 手法にまたがる因果性を強制する統一的枠組みを提案する。
• time-marching PINNs と XPINNs を橋渡しする stacked-decomposition および window-sweeping アプローチを導入する。
• subnet のトレーニングを加速し、loss-tolerance に基づくサブドメイン伝播を実装するために転移学習のアイデアを活用する。
• 因果性を保ちながら計算を高速化する時-sweeping コロケーション点アルゴリズムを提示する。

提案手法

• 因果性の適用を hard、soft、and combined の3つに分類して既存手法をマッピングする。
• XPINNs を time-marching PINNs へ接続し、因果性のあるトレーニングを可能にする stacked-decomposition を導入する。
• 残差評価を抑制し連続的に因果性を強制する window-sweeping コロケーション点アルゴリズムを提案する。
• サブドメインのサブネットを初期化するために転移学習の概念を取り入れる。
• トレーニングを加速するためにサブドメイン間の loss-tolerance ベースの伝播機構を開発する。
• 精度を維持しつつコロケーションコストを削減するために、既存の因果性文献に触発された time-sweeping コロケーション戦略を定式化する。

実験結果

リサーチクエスチョン

• RQ1 情報伝播のダイナミクスと因果性の適用が、 forward の time-dependent PDEs の PINN および XPINN のトレーニングにどのような影響を与えるか？
• RQ2 統一的枠組みは time-marching PINNs と XPINNs を橋渡しして、トレーニング課題を克服できるか？
• RQ3 stacked-decomposition および window-sweeping 技術はトレーニング速度、スケーラビリティ、ロバスト性を改善するか？
• RQ4 転移学習風の初期化と loss-tolerance 伝播は、精度を犠牲にせず計算コストを削減できるか？
• RQ5 time-sweeping コロケーション点アルゴリズムは、領域全体の効率と因果性適用にどのような影響を与えるか？

主な発見

• 因果性を複数の形で強制することで、PINNs および XPINNs のトレーニング課題に対処する統一的枠組みが提案される。
• stacked-decomposition は time-marching PINNs と XPINNs を橋渡しし、因果性を備えた XPINN 枠組みを形成する。
• window-sweeping コロケーション点アルゴリズムは計算コストを削減しつつ因果性を強制し、顕著な速度向上をもたらす。
• 転移学習風の初期化はサブドメインのトレーニングを大幅に加速する。
• loss-tolerance ベースの伝播はサブドメイン間のトレーニングを高速化しつつ安定性を損なわない。
• 数値結果は、未修正の PINNs および XPINNs が苦戦する基礎的な PDE 問題においてトレーニング性の向上を示す。