[論文レビュー] Ensemble learning for Physics Informed Neural Networks: a Gradient Boosting approach

Zhiwei Fang, Sifan Wang+1 more|arXiv (Cornell University)|Feb 25, 2023

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本稿では、複雑なPDEの解法精度を向上させるために、複数のニューラルネットワークを逐次的に訓練する、新しいアンサンブル学習手法である勾配ブースティング物理情報ニューラルネットワーク（GB PINNs）を提案する。繰り返し残差を勾配ブースティングの原則に従って補正することで、GB PINNsは標準PINNsや先行手法と比較して著しく低い誤差を達成する。例えば、非線形反応拡散問題においては相対l²誤差が0.58%にまで低下する。

ABSTRACT

While the popularity of physics-informed neural networks (PINNs) is steadily rising, to this date, PINNs have not been successful in simulating multi-scale and singular perturbation problems. In this work, we present a new training paradigm referred to as "gradient boosting" (GB), which significantly enhances the performance of physics informed neural networks (PINNs). Rather than learning the solution of a given PDE using a single neural network directly, our algorithm employs a sequence of neural networks to achieve a superior outcome. This approach allows us to solve problems presenting great challenges for traditional PINNs. Our numerical experiments demonstrate the effectiveness of our algorithm through various benchmarks, including comparisons with finite element methods and PINNs. Furthermore, this work also unlocks the door to employing ensemble learning techniques in PINNs, providing opportunities for further improvement in solving PDEs.

研究の動機と目的

• マルチスケールおよび特異摂動問題を解く際、標準PINNsが示す持続的な不安定性と不正確さに対処すること。
• PDE解における高周波数および複雑な特徴を捉えることが難しい単一ネットワークPINNsの限界を克服すること。
• 広範なハイパーパrameterチューニングを必要とせず、アンサンブル学習によってPINNの性能を向上させるスケーラブルでモジュラーな訓練フレームワークを導入すること。
• フォーリエ特徴や適応的損失重み付けといった既存のPINN技術との統合を可能にし、より広範な適用可能性を実現すること。
• 一般化性と収束性を向上させる柔軟で勾配ブースティングに基づくパラダイムを提供すること。

提案手法

• 各新しいネットワークが前のアンサンブルの残差誤差を学習するように、逐次的にニューラルネットワークの系列を訓練する。
• 各新しいネットワークを、現在の予測に対する損失関数の負の勾配にフィットさせることで、PDE残差損失を最小化する勾配ブースティングを用いる。
• PDE残差、境界条件、初期条件の損失の重み付き和として総損失を定式化し、トレーニングのダイナミクスをバランスさせるために適応的重み付けを導入する。
• 残差補正メカニズムを採用：最終予測は、系列内のすべての個々のニューラルネットワーク出力の和である。
• 表現能力を向上させるために、オプションのフォーリエ特徴埋め込みを含む、標準の全結合ネットワークを用いる。
• PDE、境界、初期条件の各項に対して固定バッチサイズのミニバッチ確率的最適化を適用し、安定したトレーニングを確保する。

実験結果

リサーチクエスチョン

• RQ1 勾配ブースティングは、物理情報ニューラルネットワークのトレーニング安定性と精度を向上させるために効果的に適応可能か？
• RQ2 弱いPINN予測器の逐次アンサンブルは、マルチスケールおよび特異摂動問題を解く際、単一の大規模PINNを上回る性能を示すか？
• RQ3 ネットワークアーキテクチャや学習率といったハイパーパrameterの選択に、GB PINNsアプローチはどれほど感受的か？
• RQ4 ベンチマークPDEにおいて、GB PINNsは標準PINNsや他の最先端手法と比較して、相対l²誤差をどの程度低減できるか？
• RQ5 どのような種類のPDEにおいてGB PINNsは失敗し、その背後にあるメソッドの限界は何か？

主な発見

• 2次元の特異摂動問題（内部境界あり）において、GB PINNsは相対l²誤差3.37%を達成したのに対し、標準PINNsは16%であった。
• 非線形反応拡散方程式において、GB PINNsは相対l²誤差0.58%を達成し、類似条件の下で2.36%の誤差を報告した先行手法を上回った。
• 3ステップのトレーニングで、Krishnapriyanらのseq2seqアプローチ（20ステップ）と比較して、誤差を約4倍まで低減した。
• GB PINNsはネットワークアーキテクチャやハイパーパrameterの選択に対して低感受性であり、一貫した性能を発揮するための最小限のチューニングで十分であった。
• 従来のPINNsが正確に捉えられない高周波数特徴やマルチスケール挙動を示す問題に対しても、GB PINNsは効果的に解法を達成した。
• 利点が多々あるものの、GB PINNsは発散する微分項を伴う保存則（例：非粘性バーガーズ方程式）に対しては依然として効果を発揮しない。これはPDE損失への感受性が不十分であるためである。