[論文レビュー] Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks

Ghazal Farhani, Alexander Kazachek+1 more|arXiv (Cornell University)|Jun 29, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、勾配降下法に運動量を導入した確率的勾配降下法（SGDM）が、物理に基づくニューラルネットワーク（PINNs）におけるスペクトルバイアスを顕著に低減することを示している。これにより、高周波数の偏微分方程式（PDE）問題に対しても、正確な解への収束が可能になる。ニューラル接線カーネル（NTK）理論を用いて、SGDMが低周波数と高周波数の特徴の収束をバランスさせることで学習ダイナミクスを改善し、vanilla SGD より優れた性能を発揮し、広いネットワークでも高精度な解を得られることを示している。

ABSTRACT

Physics-informed neural network (PINN) algorithms have shown promising results in solving a wide range of problems involving partial differential equations (PDEs). However, they often fail to converge to desirable solutions when the target function contains high-frequency features, due to a phenomenon known as spectral bias. In the present work, we exploit neural tangent kernels (NTKs) to investigate the training dynamics of PINNs evolving under stochastic gradient descent with momentum (SGDM). This demonstrates SGDM significantly reduces the effect of spectral bias. We have also examined why training a model via the Adam optimizer can accelerate the convergence while reducing the spectral bias. Moreover, our numerical experiments have confirmed that wide-enough networks using SGDM still converge to desirable solutions, even in the presence of high-frequency features. In fact, we show that the width of a network plays a critical role in convergence.

研究の動機と目的

• PINNsにおける継続的な問題であるスペクトルバイアスに取り組み、モデルがPDE解の高周波数特徴を学習できないことに対処する。
• 訓練ダイナミクスにおける強いスペクトルバイアスが原因で、標準的なSGDが高周波数PDEに対して困難である理由を調査する。
• 最適化における運動量（SGDM）と適応的最適化法（Adam）がスペクトルバイアスをどのように軽減し、収束を加速するかを検討する。
• ネットワークの幅が、実用的で有限な幅のネットワークにおいても、高周波数問題の誤差低減に重要な役割を果たすことを示す。
• 理論的および実験的証拠を提示し、SGDMが勾配フローのダイナミクスを変更することで、高周波数PDEに対して正確な解への収束を可能にすることを示す。

提案手法

• NTK理論を用いて、無限に広いPINNsにおけるSGDM最適化下での勾配フローのダイナミクスを分析する。
• NTKに基づく解析を用いて、訓練プロセスを連続時間の力学的システムとしてモデル化し、周波数成分ごとの収束行動を検討する。
• SGDM下での低周波数および高周波数特徴の収束速度を比較し、運動量が低周波数学習を遅くし、高周波数成分の学習を加速することを示す。
• 固定深さ・有限幅のネットワークを用いた数値実験を通じて、幅と最適化法選択の影響を理論的知見と照合する。
• Poisson方程式、移流方程式、反応拡散方程式といったベンチマークPDEに対して、SGDMおよびAdam最適化法を用いて、周波数パラメータを増加させた実験を実施する。
• 予測解と解析解との間の相対誤差を測定し、ネットワーク幅とハイパーパrameterの変化に応じた解の精度を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配降下法に運動量を導入したSGDMは、PDEを解くための物理に基づくニューラルネットワーク（PINNs）におけるスペクトルバイアスにどのように影響を与えるか？
• RQ2 Adam最適化法はなぜvanilla SGDよりもPINNsで収束を加速するのか？また、スペクトルバイアスにどのような影響を与えるか？
• RQ3 PINNの幅を広げることで、高周波数PDEのスペクトルバイアスはどの程度低減され、解の精度は向上するのか？
• RQ4 無限に広いPINNsにおけるSGDM下の理論的収束ダイナミクスは、実用的で有限な幅のネットワークへと拡張可能か？
• RQ5 SGDM下での低周波数および高周波数成分の訓練ダイナミクスはどのように異なるのか？また、運動量はそれらのバランスをどのように果たすのか？

主な発見

• SGDMは低周波数特徴の収束を遅くし、高周波数特徴の収束を加速することで、周波数成分全体にわたる学習のバランスを改善し、スペクトルバイアスを顕著に低減する。
• 高周波数PDEに対しては、vanilla SGDは高周波数成分の学習に極めて小さな学習率を必要とし、収束が極めて遅いために収束不能となるが、SGDMにより困難なケースでも収束が可能になる。
• 数値実験の結果、幅が500のネットワークでは高周波数問題に対して相対誤差が10⁻³オーダーで達成される一方、幅が50の狭いネットワークでは誤差が10⁻¹オーダーにとどまる。
• 反応拡散方程式や輸送方程式において、高パラメータ（例：ν=23, ρ=25, β=100）を有する場合、SGDMおよびAdamは、vanilla SGDよりもはるかに低い誤差を、少ないエポック数で達成した。
• 一部のケースではSGDMがAdamよりも収束が速かったが、Adamは適応的学習率のおかげで、vanilla SGDを常に上回る性能を示した。
• NTKを用いた理論的分析により、SGDMは低周波数成分に対して過減衰的でない、高周波数成分に対して臨界減衰的でない振動的ダイナミクスを誘発することが示され、vanilla SGDに比べてスペクトルバイアスが低減される。