[論文レビュー] PSO-PINN: Physics-Informed Neural Networks Trained with Particle Swarm Optimization

Caio Davi, Ulisses Braga-Neto|arXiv (Cornell University)|Feb 4, 2022

Model Reduction and Neural Networks被引用数 11

ひとこと要約

本稿では、勾配ベースのPINN学習における収束問題を克服するため、粒子群最適化（PSO）を用いて訓練される物理情報ニューラルネットワークフレームワーク、PSO-PINNを提案する。PSO-BP-CD—適応的勾配降下を組み合わせたハイブリッドPSO—を導入することで、PSO-PINNは、ODEおよびPDEのベンチマークにおいて、標準的なADAMおよび他のPSOバリアントよりも優れた精度と不確実性評価を達成する。

ABSTRACT

Physics-informed neural networks (PINN) have recently emerged as a promising application of deep learning in a wide range of engineering and scientific problems based on partial differential equation (PDE) models. However, evidence shows that PINN training by gradient descent displays pathologies that often prevent convergence when solving PDEs with irregular solutions. In this paper, we propose the use of a particle swarm optimization (PSO) approach to train PINNs. The resulting PSO-PINN algorithm not only mitigates the undesired behaviors of PINNs trained with standard gradient descent but also presents an ensemble approach to PINN that affords the possibility of robust predictions with quantified uncertainty. We also propose PSO-BP-CD (PSO with Back-Propagation and Coefficient Decay), a hybrid PSO variant that combines swarm optimization with gradient descent, putting more weight on the latter as training progresses and the swarm zeros in on a good local optimum. Comprehensive experimental results show that PSO-PINN with the proposed PSO-BP-CD algorithm outperforms PINN ensembles trained with other PSO variants or with pure gradient descent.

研究の動機と目的

• 不規則または急激に変化する解を有するPDEに対して、勾配ベースの物理情報ニューラルネットワーク（PINN）学習における収束病理を是正すること。
• アンサンブル学習を可能にするスワームベースの訓練フレームワークを開発し、不確実性評価と分散低減を支援すること。
• 訓練の進行に伴い勾配降下への依存度を動的に増加させるハイブリッド最適化手法PSO-BP-CDを提案すること。
• PSO-PINNが、多様なPDEおよびODEベンチマークにおいて、標準的なADAMで訓練されたPINNアンサンブルおよび他のPSOバリアントよりも精度とロバスト性に優れていることを実証すること。

提案手法

• PSO-PINNは、データ適合項とPDE残差項を組み合わせたマルチパート損失関数を採用するが、勾配降下ではなく粒子群最適化（PSO）を用いて最適化する。
• PSO-BP-CDという変種を用い、粒子群の速度更新とバックプロパゲーションの勾配を組み合わせ、時間の経過に伴いスワームの認知的および社会的要因の影響を徐々に減少させる。
• スワーム内の各粒子は、独自の重みとバイアスを有する一意のPINNを表し、これによりモデルのアンサンブルが構築され、全体の予測信頼性が向上する。
• アルゴリズムは100個のPINNからなるスワームを初期化し、同じ損失関数を用いて各PINNを訓練し、データおよびPDE制約の両方の合計損失を最小化するようにパラメータを進化させる。
• 最終的な予測はアンサンブル平均であり、不確実性はアンサンブル分散を用いて推定され、校正された信頼区間が得られる。
• 学習率（α）、認知的（c₁）、社会的（c₂）係数といったハイパーパrameterは、モデル選択により調整され、学習率スケジューリングの必要がない。

実験結果

リサーチクエスチョン

• RQ1 粒子群最適化は、不規則な解を有するPDEにおける勾配ダイナミクスの硬さに起因するPINN学習の収束病理を緩和できるか？
• RQ2 ハイブリッドPSO-勾配降下アプローチ（PSO-BP-CD）は、純粋なPSOまたは標準的勾配降下に比べ、PINNの性能を向上させるか？
• RQ3 PSO-PINNは、標準的なADAMベースのPINNアンサンブルに比べ、より正確でロバストな予測と不確実性の定量的評価を可能にするか？
• RQ4 PSO-PINNのアンサンブル構造は、独立したPINN学習と比較して、予測信頼性と不確実性推定をどのように向上させるか？

主な発見

• PSO-PINNにPSO-BP-CDを適用した場合、アレン・カーン方程式ベンチマークでL₂誤差が0.093 ± 0.032に達し、ADAMアンサンブルの0.327 ± 0.029に比べ顕著に優れた性能を示した。
• PSO-PINNアンサンブルは基準解に収束したが、ADAMアンサンブルは収束に失敗しており、図7で視覚的に確認された。
• PSO-BP-CDは、すべてのベンチマークでプレーンなPSOおよびPSO-BPを上回ったが、特に非線形バーガース方程式において、適応的勾配重み付けの恩恵が顕著に現れた。
• PSO-PINNのアンサンブル分散は、校正された不確実性推定を提供しており、分散が低いほど予測に対する信頼度が高くなることを示した。
• PSO-PINNフレームワークは、複数の独立した実行において一貫した性能を示し、ハイパーパrameterは実験間で安定的かつ移植可能な値を示した。