[論文レビュー] Investigating and Mitigating Failure Modes in Physics-informed Neural Networks (PINNs)

Shamsulhaq Basir|arXiv (Cornell University)|Sep 20, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、補助変数による高次導関数の前処理と、適応的ラグランジュ乗数を用いた二重非制約定式化を導入することで、PDEの解法における失敗モードを軽減する物理情報付きニューラルネットワーク（PINN）フレームワークを提案する。この手法は、状態下位のPINNと比較して、100倍少ないコロケーション点を用いても、数個のオーダーも高い精度を達成し、手動によるハイパーパrameterチューニングなしで滑らかでない解や複雑な幾何形状の学習を安定的に行える。

ABSTRACT

This paper explores the difficulties in solving partial differential equations (PDEs) using physics-informed neural networks (PINNs). PINNs use physics as a regularization term in the objective function. However, a drawback of this approach is the requirement for manual hyperparameter tuning, making it impractical in the absence of validation data or prior knowledge of the solution. Our investigations of the loss landscapes and backpropagated gradients in the presence of physics reveal that existing methods produce non-convex loss landscapes that are hard to navigate. Our findings demonstrate that high-order PDEs contaminate backpropagated gradients and hinder convergence. To address these challenges, we introduce a novel method that bypasses the calculation of high-order derivative operators and mitigates the contamination of backpropagated gradients. Consequently, we reduce the dimension of the search space and make learning PDEs with non-smooth solutions feasible. Our method also provides a mechanism to focus on complex regions of the domain. Besides, we present a dual unconstrained formulation based on Lagrange multiplier method to enforce equality constraints on the model's prediction, with adaptive and independent learning rates inspired by adaptive subgradient methods. We apply our approach to solve various linear and non-linear PDEs.

研究の動機と目的

• 偏微分方程式（PDE）を解く際の物理情報付きニューラルネットワーク（PINN）における失敗モードを調査・診断すること、特に検証データや事前解の知識が欠如する状況での挙動を対象とする。
• 高次PDEが逆伝播勾配にどのように悪影響を及ぼし、訓練の初期段階で収束を妨げるのかを分析すること。
• メッシュレスで幾何不変性を持つ手法を開発し、境界条件と保存則を手動によるハイパーパrameterチューニングなしにきめ細かく満たすこと。
• 補助変数による前処理により探索空間の次元を低減することで、滑らかでないPDE解の効果的学習を可能とすること。
• 適応的ラグランジュ乗数に基づく独立な学習率を持つ、ラグランジュ乗数法に起因する二重非制約定式化を導入すること。

提案手法

• 高次導関数の計算を補助変数に置き換える前処理戦略を導入し、勾配の汚染を軽減し、最適化の安定性を向上させる。
• ラグランジュ乗数法に由来する二重非制約定式化を採用し、制約付き最適化問題を適応的学習率を有する非制約問題に変換する。
• Sobol系列サンプリングを用いて、ドメインおよび境界上で疎で均一なコロケーション点を生成し、データ要件を最小限に抑える。
• L-BFGS最適化法に強力なWolfe線分探索を組み合わせ、高次元かつ非凸な損失関数の最適化を促進する。
• ノイズを含む測定データを統合しつつ、境界条件および物理的制約を厳密に満たすための最尤推定フレームワークを実装する。
• 主変数と補助変数の両方を1つのニューラルネットワークで学習させ、共有された隠れ表現を促進し、過学習のリスクを低減する。

実験結果

リサーチクエスチョン

• RQ1 高次PDEはPINNにおける勾配フローと損失関数の形状にどのように影響を与え、初期訓練段階で収束不能を引き起こす要因となるのか？
• RQ2 高次導関数に起因する勾配汚染が、PINN解の一般化性能と精度にどの程度悪影響を及えるのか？
• RQ3 適応的学習率を有する二重非制約定式化は、手動によるハイパーパrameterチューニングなしで収束性と解の精度を向上させ得るか？
• RQ4 補助変数による前処理戦略は、探索空間の次元を低減させ、滑らかでないPDE解の学習を可能にするか？
• RQ5 提案手法は、既存のPINN手法と比較して、著しく少ないコロケーション点で最先端の精度を達成できるか？

主な発見

• ヘルムホルツ方程式において、提案手法は相対誤差 $2.77 \times 10^{-4} \pm 9.15 \times 10^{-5}$ を達成し、Ref. [22] より2オーダーも低い誤差レベルを実現した。
• 提案手法は、Ref. [22] が使用したコロケーション点の数のわずか0.01%にまで削減しながら、優れた精度を維持した。
• 高次PDEにおける逆伝播勾配は、初期予測のノイズにより数個のオーダーも増幅されるが、提案手法はこれを効果的に緩和した。
• 摂動下でもネットワークパラメータの分布は安定しているが、標準PINNでは勾配が著しく増加する—最適化の不安定性を示している。
• 適応的双対定式化を備えたPECANNモデルは、疎なサンプリングや滑らかでない解を伴う状況でも、複数回の試行において一貫した収束と高い精度を示した。
• 提案手法は、手動チューニングなしで境界条件と保存則をきめ細かく満たすことができ、逆問題および前方PDE問題に適している。