[論文レビュー] Stochastic projection based approach for gradient free physics informed learning

N Navaneeth, Souvik Chakraborty|arXiv (Cornell University)|Sep 25, 2022

Model Reduction and Neural Networks被引用数 10

ひとこと要約

本稿では、自動微分に代わり確率的射影に基づく勾配推定を用いる勾配フリーな物理情報付きニューラルネットワーク（SP-PINN）を提案する。これにより、滑らかでない解、複雑な領域、不連続性を有する偏微分方程式（PDE）の解法が強固に可能となり、より少ないコロケーション点で正確な予測が得られる。本手法は、微分可能でない活性化関数やCNNのようなアーキテクチャの利用を可能とし、困難な破壊力学問題において従来のPINNを上回る性能を発揮する。

ABSTRACT

We propose a stochastic projection-based gradient free physics-informed neural network. The proposed approach, referred to as the stochastic projection based physics informed neural network (SP-PINN), blends upscaled stochastic projection theory with the recently proposed physics-informed neural network. This results in a framework that is robust and can solve problems involving complex solution domain and discontinuities. SP-PINN is a gradient-free approach which addresses the computational bottleneck associated with automatic differentiation in conventional PINN. Efficacy of the proposed approach is illustrated by a number of examples involving regular domain, complex domain, complex response and phase field based fracture mechanics problems. Case studies by varying network architecture (activation function) and number of collocation points have also been presented.

研究の動機と目的

• 従来の物理情報付きニューラルネットワーク（PINN）における自動微分の計算ボトル neck を解消すること。
• 滑らかでない解、複雑な幾何構造、不連続性を有する問題に対するPINNの強固な学習を可能にすること。
• 微分可能でない活性化関数に依存する必要を排除し、ReLU、LeakyReLU、さらには微分不能なアーキテクチャ（例：CNN）の使用を可能にすること。
• 特に高次元または悪条件なPDEにおいて、限られたコロケーション点で学習の効率と精度を向上させること。
• メッシュフリーで粒子ベースのフレームワークを提供し、ネットワークアーキテクチャおよび損失関数の設計において柔軟性を提供すること。

提案手法

• SP-PINNフレームワークは、確率的射影理論を物理情報付きニューラルネットワークと統合し、自動微分に依存しない勾配推定を実現する。
• 勾配は、局所的な近傍点を用いて導関数を近似するフィルタリング手法を用いた確率的射影フレームワーク内で計算される。
• 本手法は、特定の層でtanhおよびSELU活性化関数を用い、線形出力層を持つ4層の全結合深層ニューラルネットワークを採用する。
• 境界条件は、正確な境界関数をネットワーク出力に適用することで弱く強制され、ディリクレ制約を満たすように保証される。
• 損失関数は、PDEの残差誤差、初期条件、境界条件を組み合わせており、変分エネルギー定式化を用いてフェーズフィールド破壊モデルが統合されている。
• 破壊領域の幅を制御するため、フェーズフィールドモデルに長さスケールパラメータ l₀ = 0.125 が用いられ、クラック発展シミュレーション中に適応的メッシュ細分化が適用されている。

実験結果

リサーチクエスチョン

• RQ1 PDEの解法において自動微分の計算コストを回避する勾配フリーなPINNフレームワークを開発可能か？
• RQ2 SP-PINNは滑らかでない解や複雑で非自明な領域を有するPDEに対してどのように性能を発揮するか？
• RQ3 SP-PINNは、正確なクラック発展とエネルギー最小化を実現するフェーズフィールド破壊力学を効果的にモデル化できるか？
• RQ4 本手法は、ReLU や LeakyReLU などの微分不能な活性化関数およびCNNなどのアーキテクチャをサポートできるか？
• RQ5 コロケーション点の数とネットワークアーキテクチャの変更が、SP-PINNの精度および収束性にどのように影響するか？

主な発見

• SP-PINNはフェーズフィールド破壊問題において正確なクラック発展予測を達成し、実際の解およびAD-PINNベンチマークと密接に一致した。
• 20×20の粗いメッシュと適応的メッシュ細分化を用いた2次元破壊力学問題において、3つの変位ステップでクラックの進化を捉えた。
• 滑らかでない解や不連続性のモデル化において、SP-PINNは複雑な領域問題において従来のPINNを上回る強健性を示した。
• 自動微分による勾配計算の排除のおかげで、ReLU や LeakyReLU などの微分不能な活性化関数の使用が可能となった。
• 限られたコロケーション点でも高い精度を維持でき、標準的なPINN手法と比較して計算コストを削減した。
• フェーズフィールドの進化とクラック進行は正確に捉えられ、図20および図21の可視化結果は、正確な解と密接に一致した。