[論文レビュー] Improved Training of Physics-Informed Neural Networks with Model Ensembles

Katsiaryna Haitsiukevich, Alexander Ilin|arXiv (Cornell University)|Apr 11, 2022

Model Reduction and Neural Networks参考文献 36被引用数 4

ひとこと要約

本稿では、アンサンブルの一致度に基づいて動的に解領域を拡張することで、事前に定義されたスケジュールに依存せずに学習を安定化させる、物理学を組み込んだニューラルネットワーク（PINN）アンサンブル手法を提案する。この手法は一般化性能と収束性を向上させ、対流、反応、反応拡散PDEにおいて安定した学習と不確実性推定（信頼区間を用いて）を実現し、競争力のある性能を達成する。

ABSTRACT

Learning the solution of partial differential equations (PDEs) with a neural network is an attractive alternative to traditional solvers due to its elegance, greater flexibility and the ease of incorporating observed data. However, training such physics-informed neural networks (PINNs) is notoriously difficult in practice since PINNs often converge to wrong solutions. In this paper, we address this problem by training an ensemble of PINNs. Our approach is motivated by the observation that individual PINN models find similar solutions in the vicinity of points with targets (e.g., observed data or initial conditions) while their solutions may substantially differ farther away from such points. Therefore, we propose to use the ensemble agreement as the criterion for gradual expansion of the solution interval, that is including new points for computing the loss derived from differential equations. Due to the flexibility of the domain expansion, our algorithm can easily incorporate measurements in arbitrary locations. In contrast to the existing PINN algorithms with time-adaptive strategies, the proposed algorithm does not need a pre-defined schedule of interval expansion and it treats time and space equally. We experimentally show that the proposed algorithm can stabilize PINN training and yield performance competitive to the recent variants of PINNs trained with time adaptation.

研究の動機と目的

• 損失関数の不均衡と初期化の悪さによるPINNの収束失敗を解消すること。
• PINN学習における事前に定義された時間適応スケジュールへの依存を排除すること。
• アンサンブルの信頼度を用いて、時間的および空間的になめらかに、柔軟かつデータ駆動で解領域を拡張すること。
• アンサンブルの信頼区間を用いて不確実性推定を提供すること。
• 対流および反応拡散方程式を含む多様なPDEシステムにおいて、より高いロバスト性と一般化性能を向上させること。

提案手法

• 異なるランダム初期化を用いてPINNアンサンブルを学習させ、多様な解行動を捉える。
• アンサンブル一致度（信頼度）を基準として、PDE損失に新たなコロケーション点を段階的に追加し、解領域を拡張する。
• 高いアンサンブル一致度に近い領域から、安定した伝播が保証されるように、動的に新しい点を選択する。
• 時間と空間を同等に扱い、任意の位置に測定値を統合できるようにする。
• 距離Δ_PDE以内の点を含めるしきい値ベースのメカニズムを用い、探索と安定性のバランスを取る。
• 初期のAdamプレトレーニング後にLBFGSのファインチューニングを適用し、最終的な精度を向上させる。アンサンブルの収束を活用する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル一致度は、PINN学習における解領域拡張の信頼できる基準として利用可能か？
• RQ2 信頼度に基づく動的領域拡張は、固定スケジュールの時間適応PINN手法を上回るか？
• RQ3 提案手法は、対流および反応拡散系を含む多様なPDEタイプにおいて、PINN学習を安定化できるか？
• RQ4 Δ_PDEなどのハイパーパrameterに、アンサンブルPINN手法はどれほど感受性を示すか？
• RQ5 アンサンブルは信頼区間を用いて意味のある不確実性推定を提供できるか？

主な発見

• 提案されたアンサンブル手法は、対流、反応、反応拡散方程式を含むすべてのテストPDEシステムで安定した学習を達成し、一貫性のある性能を示した。
• AdamおよびLBFGS最適化子を用いたヴァニラPINNと比較して、特にベースライン手法が収束に失敗するような系においても優れた性能を発揮した。
• bc-PINN や SA-PINN といった時間適応ベースラインと比較して、事前に定義された拡張スケジュールが不要でありながら、同等または優れた精度を達成した。
• ハイパーパrameter設定、特にΔ_PDEの適切な選定時において、アルゴリズムの感度が低く、ロバスト性が示された。
• アンサンブルは解の不確実性を反映する信頼区間を提供しており、初期条件・境界条件に近い領域では高い一致度、遠く離れた領域では低い一致度を示した。
• Adamプレトレーニング後にLBFGSのファインチューニングを適用することで、プレトレーニング中に良好な解が得られた場合、最終的な精度が顕著に向上した。