[論文レビュー] Multilevel domain decomposition-based architectures for physics-informed neural networks

Victorita Dolean, Alexander Heinlein+2 more|arXiv (Cornell University)|Jun 8, 2023

Model Reduction and Neural Networks参考文献 54被引用数 5

ひとこと要約

本稿では、高周波数および多スケール微分方程式の解法において、精度と効率を向上させるために、多重重複領域分割を解のアンサンブルに統合した、マルチレベル FBPINN という物理情報付きニューラルネットワークアーキテクチャを提案する。階層的分解によりサブドメイン間のグローバルな通信を可能にすることで、標準的な PINNs や単一レベル FBPINNs より顕著に精度とスケーラビリティが向上する。

ABSTRACT

Physics-informed neural networks (PINNs) are a powerful approach for solving problems involving differential equations, yet they often struggle to solve problems with high frequency and/or multi-scale solutions. Finite basis physics-informed neural networks (FBPINNs) improve the performance of PINNs in this regime by combining them with an overlapping domain decomposition approach. In this work, FBPINNs are extended by adding multiple levels of domain decompositions to their solution ansatz, inspired by classical multilevel Schwarz domain decomposition methods (DDMs). Analogous to typical tests for classical DDMs, we assess how the accuracy of PINNs, FBPINNs and multilevel FBPINNs scale with respect to computational effort and solution complexity by carrying out strong and weak scaling tests. Our numerical results show that the proposed multilevel FBPINNs consistently and significantly outperform PINNs across a range of problems with high frequency and multi-scale solutions. Furthermore, as expected in classical DDMs, we show that multilevel FBPINNs improve the accuracy of FBPINNs when using large numbers of subdomains by aiding global communication between subdomains.

研究の動機と目的

• 高周波数および多スケール微分方程式を解く際の標準的 PINNs の性能不良を是正すること。
• 複数レベルのサブドメイン分割を用いたアーキテクチャの導入により、PINNs のスペクトルバイアスおよび最適化の課題を克服すること。
• 古典的マルチレベルシュワーツ領域分割法にインspiredして、粗いレベルのサブドメインを組み込むことで、FBPINNs におけるサブドメイン間のグローバルな通信を向上させること。
• ベンチマーク PDE 問題を対象に、強スケーリングおよび弱スケーリングテストを通じて、提案されたマルチレベル FBPINN フレームワークのスケーラビリティと精度を評価すること。

提案手法

• 有限基底物理情報付きニューラルネットワーク（FBPINNs）を拡張し、重複領域分割を複数レベルにわたって導入する。各レベルが、サブドメインニューラルネットワークの階層的合計を通じてグローバル解に寄与する。
• 各レベルで、重複するサブドメイン上で局所的ニューラルネットワークを訓練し、その出力を合算することでグローバル解を形成する。重複領域により、サブドメイン間の暗黙的な結合が実現される。
• コロケーション点を関連するサブドメインに事前マッピングし、JAX の vmap を用いて GPU 上でサブネットワークの評価を並列化することで、効率的な解の計算が可能になる。
• 損失関数は、すべてのコロケーション点における PDE 残差を強制し、すべてのレベルのすべてのサブドメインネットワークからの寄与を含めることで、グローバルな整合性を保証する。
• アーキテクチャは、高周波数成分を異なるスケールの複数のサブドメインに分散させることで、スペクトルバイアスを軽減するように設計されている。
• フレームワークは、前方モデル化およびサーヴェイランス学習の両方をサポートし、複数の GPU でのトレーニングや、異なる PDE の係数や境界条件への再利用が可能である。

実験結果

リサーチクエスチョン

• RQ1 マルチレベル FBPINN の精度は、高周波数および多スケール PDE に対して、標準的 PINNs や単一レベル FBPINNs よりもどのように異なるか？
• RQ2 マルチレベル領域分割は、サブドメイン間のグローバルな通信および解の整合性をどの程度向上させるか？
• RQ3 PINNs、FBPINNs、およびマルチレベル FBPINNs の間で、強スケーリングと弱スケーリングの挙動は、精度および計算コストの観点からどのように異なるか？
• RQ4 古典的領域分割理論が予測するように、多数のサブドメインを用いた場合でも、マルチレベル FBPINN は精度を維持または向上させることができるか？

主な発見

• マルチレベル FBPINN は、高周波数および多スケール解を含むすべてのテスト問題において、標準的 PINNs よりも一貫して顕著に優れた精度を達成する。
• 大規模なサブドメイン数を用いた場合、単一レベル FBPINNs よりも優れた精度を達成しており、粗いレベルのサブドメインによるグローバルな通信の向上が裏付けられる。
• 強スケーリングテストでは、サブドメイン数の増加に伴い、マルチレベル FBPINN は精度を維持または向上させ、古典的マルチレベル領域分割法の理論的予測と整合的である。
• 弱スケーリングの結果から、マルチレベル FBPINN は問題の複雑さが増大しても効率的にスケーリングされ、計算負荷がサブドメインに分散されながらも精度を維持する。
• 提案されたアーキテクチャは、PINNs よりもトレーニングコストを低減し、複雑なスペクトルコンテンツを有する問題の収束性を改善するが、非凸最適化のため、従来のソルバーよりもトレーニングは遅い。
• ベースライン比較においてフーリエ特徴量を用いることで、PINNs でさえフーリエ特徴量埋め込みが施された場合でも、マルチレベル FBPINN が依然として優れた性能を発揮することが確認された。