[論文レビュー] Characterizing possible failure modes in physics-informed neural networks

Aditi S. Krishnapriyan, Amir Gholami+3 more|arXiv (Cornell University)|Sep 2, 2021

Model Reduction and Neural Networks被引用数 351

ひとこと要約

本論文は、vanilla physics-informed neural networks (PINNs) が対流・反応・拡散問題の非自明な物理を捉えられないことがあることを示し、柔らかなPDE制約から生じる最適化の困難さのためであると指摘し、curriculum regularization と seq2seq learning を提案して性能を実質的に大幅に改善する。

ABSTRACT

Recent work in scientific machine learning has developed so-called physics-informed neural network (PINN) models. The typical approach is to incorporate physical domain knowledge as soft constraints on an empirical loss function and use existing machine learning methodologies to train the model. We demonstrate that, while existing PINN methodologies can learn good models for relatively trivial problems, they can easily fail to learn relevant physical phenomena for even slightly more complex problems. In particular, we analyze several distinct situations of widespread physical interest, including learning differential equations with convection, reaction, and diffusion operators. We provide evidence that the soft regularization in PINNs, which involves PDE-based differential operators, can introduce a number of subtle problems, including making the problem more ill-conditioned. Importantly, we show that these possible failure modes are not due to the lack of expressivity in the NN architecture, but that the PINN's setup makes the loss landscape very hard to optimize. We then describe two promising solutions to address these failure modes. The first approach is to use curriculum regularization, where the PINN's loss term starts from a simple PDE regularization, and becomes progressively more complex as the NN gets trained. The second approach is to pose the problem as a sequence-to-sequence learning task, rather than learning to predict the entire space-time at once. Extensive testing shows that we can achieve up to 1-2 orders of magnitude lower error with these methods as compared to regular PINN training.

研究の動機と目的

• PINNs が非自明なPDE係数を持つ対流・反応・反応拡散問題でどのように性能を発揮するかを評価する。
• soft PDE 制約が PINNs の最適化と条件づけにどのように影響するかを特定する。
• PINN の表現力がボトルネックか、それとも最適化の地形が失敗の原因かを判断する。
• PINN の訓練と精度を改善する緩和戦略を提案・評価する。
• 再現性と研究者による拡張を支援するために実装をオープンソース化する。

提案手法

• データ損失と境界条件に加え、ソフト PDE 残差を損失項として組み込んだ PINN 訓練を定式化する。
• ヘッセ行列固有ベクトルを摺動させて損失地形を解析し、最適化の難しさを観察する。
• 2つの緩和戦略を評価する: PDE制約の強度を徐々に高める curriculum regularization と、解を短い時間区間に分けて予測する seq2seq learning。
• vanilla PINN、curriculum PINN、seq2seq PINN を対流、反応、反応拡散の設定で比較する。
• L-BFGS 最適化と、各層50ニューロンの4層ネットワーク、tanh 活性化、周期ドメイン上の collocation 点を使用。

実験結果

リサーチクエスチョン

• RQ1 非自明な係数を持つ対流・反応・反応拡散PDEの解を、vanilla PINN 訓練が正確に学習するか？
• RQ2 soft PDE 正則化は PINN の損失地形と最適化にどう影響するか？
• RQ3 観測される失敗はネットワーク容量不足か、それとも最適化の課題か？
• RQ4 curriculum regularization と seq2seq 学習は PINN の性能と安定性を改善するか？
• RQ5 これらの手法は標準の PINN より鋭いまたは拡散的特徴をより良く捉えられるか？

主な発見

• PINNs は極めて小さな PDE係数の場合にのみ良い解を得て、中程度に難しい領域では失敗する。
• ソフトPDE正則化を増やすと損失地形がより複雑になり、特に高い係数で最適化が難しくなる。
• ネットワーク容量は主要なボトルネックではなく、PDEベースの制約を用いた最適化が本質的な問題である。
• Curriculum regularization によって誤差と損失地形の滑らかさが劇的に改善され、時には約2桁近く改善されることもある。
• Seq2seq 学習（時間進行）は、全時空間を一度に予測するのと比べて反応・反応拡散問題の誤差を最大約2桁近く低減する。
• オープンソース実装は再現性と拡張の機会を提供する。