[論文レビュー] Learning in Sinusoidal Spaces with Physics-Informed Neural Networks

Jian Cheng Wong, Chinchun Ooi+2 more|arXiv (Cornell University)|Sep 20, 2021

Model Reduction and Neural Networks参考文献 34被引用数 10

ひとこと要約

本稿では、入力を正弦関数空間にマッピングすることで勾配のばらつきを向上させ、訓練中に誤った局所最適解に陥るのを回避する物理情報付きニューラルネットワーク、sf-PINNを提案する。正弦関数特徴マッピングによる入力周波数の制御により、さまざまな物理分野における前方および逆問題において、優れた収束性と精度が得られる。

ABSTRACT

A physics-informed neural network (PINN) uses physics-augmented loss functions, e.g., incorporating the residual term from governing partial differential equations (PDEs), to ensure its output is consistent with fundamental physics laws. However, it turns out to be difficult to train an accurate PINN model for many problems in practice. In this paper, we present a novel perspective of the merits of learning in sinusoidal spaces with PINNs. By analyzing behavior at model initialization, we first show that a PINN of increasing expressiveness induces an initial bias around flat output functions. Notably, this initial solution can be very close to satisfying many physics PDEs, i.e., falling into a local minimum of the PINN loss that only minimizes PDE residuals, while still being far from the true solution that jointly minimizes PDE residuals and the initial and/or boundary conditions. It is difficult for gradient descent optimization to escape from such a local minimum trap, often causing the training to stall. We then prove that the sinusoidal mapping of inputs, in an architecture we label as sf-PINN, is effective to increase input gradient variability, thus avoiding being trapped in such deceptive local minimum. The level of variability can be effectively modulated to match high-frequency patterns in the problem at hand. A key facet of this paper is the comprehensive empirical study that demonstrates the efficacy of learning in sinusoidal spaces with PINNs for a wide range of forward and inverse modelling problems spanning multiple physics domains.

研究の動機と目的

• 表現力の低いPINNによる一般化性能や収束性の問題に対処する。
• PINNの表現力が向上すると、出力関数が平坦になる初期バイアスが生じ、最適化が局所最適解に陥りやすくなることを特定する。
• 正弦関数入力変換が勾配のばらつきを向上させ、PINNの最適化ダイナミクスを改善できるかどうかを調査する。
• 正弦関数特徴マッピングが誤った局所最適解から脱出できることを示し、物理的整合性を維持したままである。
• 流体力学、熱伝導、構造力学の分野における多様な前方および逆問題において、実証的妥当性を提供する。

提案手法

• 標準PINNに投入する前に入力特徴に正弦関数変換を適用する新しいアーキテクチャ、sf-PINNを提案する。
• 入力周波数のレベルを制御できる学習可能な周波数モードレーションパラメータを導入し、問題に含まれる高周波数パターンに適応可能にする。
• PDEの残差、境界条件・初期条件制約、正則化項を組み合わせた修正された損失関数を導入し、訓練を安定化させる。
• PINNの初期化挙動を分析し、平坦な解が一般的で、特にPDE残差が早期に最小化された場合に問題となることを示す。
• 勾配ベースの分析を実施し、正弦関数マッピングが入力勾配の分散を増加させ、最適化軌道を改善することを実証する。
• PDEの複雑さに合わせて、正弦関数マッピングの周波数を段階的に増加させるマルチスケール訓練戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 標準PINNはPDE残差を最小化しているにもかかわらず、なぜしばしば正確な解に収束しないのか？
• RQ2 PINNの初期化が最適化軌道および収束挙動に与える影響は何か？
• RQ3 正弦関数入力変換は勾配の流れを向上させ、PINN訓練における局所最適解からの脱出を助けるのか？
• RQ4 入力空間における周波数モードレーションが、高周波数物理現象の表現をどの程度向上できるか？
• RQ5 sf-PINNは、さまざまな物理分野における前方および逆問題を解く際、標準PINNと比べてどの程度優れているか？

主な発見

• 表現力が向上するにつれてPINNは出力関数が平坦になる強い初期バイアスを示し、PDE残差は低くても境界条件を満たさない局所最適解に早期収束する可能性がある。
• 提案されたsf-PINNアーキテクチャは、ナビエ-ストークス方程式や熱伝導方程式を含む複数のベンチマークPDE問題において、訓練の安定性と収束速度を顕著に向上させる。
• 正弦関数入力マッピングにより入力勾配のばらつきが増加し、最適化ダイナミクスが改善され、誤った局所最適解に陥る可能性が低減される。
• 正弦関数マッピングの周波数は、ターゲット解のスペクトルコンテンツに合わせて効果的に調整可能であり、一般化性能と精度の向上に寄与する。
• 実証的結果から、sf-PINNは前方および逆問題の両方で標準PINNを上回り、一部のケースでは相対誤差が最大70%まで低減される。
• 流体力学、弾性力学、熱伝導の分野にわたり、sf-PINNは多様な物理分野にわたって堅牢であることが確認され、一般化可能性が裏付けられた。