[論文レビュー] MultiAdam: Parameter-wise Scale-invariant Optimizer for Multiscale Training of Physics-informed Neural Networks

Jiachen Yao, Chang Su+4 more|arXiv (Cornell University)|Jun 5, 2023

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿では、物理に基づくニューラルネットワーク（PINNs）向けに、パラメータごとのスケール不変最適化手法であるMultiAdamを提案する。マルチスケールPDE学習における損失の不均衡を、各損失項ごとの個別勾配モーメントを活用することで解消する。広範なPDEにおいて、強力なベースラインと比較して予測精度が1〜2桁向上し、収束性とドメインスケーリングに対するロバスト性に優れる。

ABSTRACT

Physics-informed Neural Networks (PINNs) have recently achieved remarkable progress in solving Partial Differential Equations (PDEs) in various fields by minimizing a weighted sum of PDE loss and boundary loss. However, there are several critical challenges in the training of PINNs, including the lack of theoretical frameworks and the imbalance between PDE loss and boundary loss. In this paper, we present an analysis of second-order non-homogeneous PDEs, which are classified into three categories and applicable to various common problems. We also characterize the connections between the training loss and actual error, guaranteeing convergence under mild conditions. The theoretical analysis inspires us to further propose MultiAdam, a scale-invariant optimizer that leverages gradient momentum to parameter-wisely balance the loss terms. Extensive experiment results on multiple problems from different physical domains demonstrate that our MultiAdam solver can improve the predictive accuracy by 1-2 orders of magnitude compared with strong baselines.

研究の動機と目的

• PINN学習におけるPDE項と境界項の損失不均衡という重要な課題に取り組み、特にドメインスケーリング下でも有効に機能することを目的とする。
• 損失関数と実際の解の誤差（$L^\infty$誤差）を結びつける理論的根拠に基づいた最適化フレームワークを構築すること。
• グローバルスケーリングに依存しない、パラメータレベルでの損失項の動的バランスを実現するロバストで適応的な最適化手法を設計すること。
• 勾配モーメントに基づく損失再重み付けにより、弱い条件下でも真の解への収束を保証すること。
• ヘルムホルツ方程式やバーガース方程式を含む多様な物理的PDEにおいて、ドメインスケールの変化にかかわらず優れた性能と安定性を示すことを実証すること。

提案手法

• PDEおよび境界損失と$ L^\infty $解誤差を結びつける理論的誤差境界を導出。損失を最小化することで収束が保証される。
• PDEおよび境界損失成分ごとに別々の2次勾配モーメントを維持する、新しい最適化手法MultiAdamを提案。
• 個別のモーメント推定値を用いて勾配を適応的にスケーリングし、絶対的な損失の大きさに依存しないパラメータレベルのバランスを実現。
• モーメントに基づくスケーリングを用いてネットワーク重みを更新。損失項のオーダーが大きく異なる場合でも、安定かつ高速な収束を実現。
• 重み付き損失の和として最適化目的関数を定式化。重みはモーメント比を用いて動的に調整され、スケール不変性を維持。
• 2次元ポアソン方程式、ヘルムホルツ方程式、バーガース方程式を含む、ドメインスケールが異なるベンチマークPDEで手法を検証。

実験結果

リサーチクエスチョン

• RQ1 ドメインスケーリングは、PINN学習におけるPDE項と境界項の損失の相対的大きさにどのように影響するか？
• RQ2 PINNにおける損失関数と実際の$ L^\infty $解誤差を結びつける理論的誤差境界を導出可能か？
• RQ3 マルチスケールPINN学習における、適応的かつパラメータレベルの損失バランスに、勾配モーメントを信頼できる指標として用いることができるか？
• RQ4 スケール不変最適化手法（例：MultiAdam）は、既存の再重み付け法や勾配ベース手法に比べ、精度および収束速度で優れているか？
• RQ5 標準的最適化手法（Adam や LRA）と比較して、MultiAdamはドメイン再スケーリングに対してどれほどロバストか？

主な発見

• ドメインスケーリング下のヘルムホルツ方程式において、MultiAdamはAdamや他のベースラインと比較して、相対的$ L^2 $誤差を最大2桁低減した。
• ドメインが小さい「Helmholtz-0.2」ケースでは、MultiAdamは相対的$ L^2 $誤差0.87%を達成し、Adam（93.46%）やNTK（100%）を上回った。
• バーガース方程式の実験では、MultiAdamは相対的$ L^2 $誤差2.95%を達成し、Adam（5.87%）やPCGrad（15.96%）を上回り、より高い訓練安定性を示した。
• 初期のモーメント推定後、MultiAdamは収束速度が速く、$ L^2 $損失曲線からも、Adam や PCGrad よりも速さと安定性に優れていることが示された。
• 異なるドメインスケールにおいても高い性能を維持し、再スケーリングに対してロバストであるのに対し、競合手法の性能は著しく低下した。
• 理論的分析により、重み付き損失を最小化することで$ L^\infty $誤差が有界になることが確認され、最適化目的関数の根拠が明確になった。