[論文レビュー] Characterizing possible failure modes in physics-informed neural networks

Aditi S. Krishnapriyan, Amir Gholami+3 more|arXiv (Cornell University)|Sep 2, 2021

Model Reduction and Neural Networks参考文献 41被引用数 115

ひとこと要約

本論文は、vanilla physics-informed neural networks (PINNs) が、ソフト PDE 制約による最適化の難しさのため、非自明な対流・反応・拡散物理を学習するのに苦労することを示し、カリキュラム正則化と seq2seq 学習を提案して性能を大幅に改善する。

ABSTRACT

Recent work in scientific machine learning has developed so-called physics-informed neural network (PINN) models. The typical approach is to incorporate physical domain knowledge as soft constraints on an empirical loss function and use existing machine learning methodologies to train the model. We demonstrate that, while existing PINN methodologies can learn good models for relatively trivial problems, they can easily fail to learn relevant physical phenomena for even slightly more complex problems. In particular, we analyze several distinct situations of widespread physical interest, including learning differential equations with convection, reaction, and diffusion operators. We provide evidence that the soft regularization in PINNs, which involves PDE-based differential operators, can introduce a number of subtle problems, including making the problem more ill-conditioned. Importantly, we show that these possible failure modes are not due to the lack of expressivity in the NN architecture, but that the PINN's setup makes the loss landscape very hard to optimize. We then describe two promising solutions to address these failure modes. The first approach is to use curriculum regularization, where the PINN's loss term starts from a simple PDE regularization, and becomes progressively more complex as the NN gets trained. The second approach is to pose the problem as a sequence-to-sequence learning task, rather than learning to predict the entire space-time at once. Extensive testing shows that we can achieve up to 1-2 orders of magnitude lower error with these methods as compared to regular PINN training.

研究の動機と目的

• PDE問題において、領域物理学とデータ駆動学習を組み合わせるためのPINNsの利用を動機づける。
• vanilla PINNs が関連する物理現象を捉えられない条件を特徴づける。
• ソフトPDEベースの正則化が最適化と損失関数の景観に与える影響を分析する。
• 失敗を緩和し精度を向上させる実践的戦略を提案する。

提案手法

• ソフトPDE残差正則化項とデータ適合項を用いてPINNsを定式化する。
• 単純な対流、反応、反応拡散PDEを分析して失敗領域を特定する。
• PDE正則化ウェイトを増加させると損失景観と最適化がどう変化するかを調べる。
• モデル容量がボトルネックではなく、ソフト制約下の最適化であることを実証する。
• PDE制約を段階的に導入するカリキュラム正則化を提案する。
• 時間区間ごとにPDEを解くseq2seq学習を導入して、全空間-時間を一度に解く代わりに解く。

実験結果

リサーチクエスチョン

• RQ1 vanilla PINNs が対流、反応、反応拡散ダイナミクスを学習できないのはどのような領域条件下か。
• RQ2 ソフトPDE正則化項は損失景観と最適化の難易度にどのように影響するか。
• RQ3 カリキュラムベースまたは時間区間を区切った学習はPDEに対するPINNの性能を改善できるか。
• RQ4 これらの改善はモデル容量に依存するのか、それとも訓練戦略と問題設定に依存するのか。

主な発見

• Vanilla PINNsは、非自明な対流および反応係数に対して高い誤差（相対誤差でほぼ100%）を達成する一方で、いくつかのケースでは単純な解析解が得られる。
• PDE残差正則化を増加させると、損失景観がより複雑になり、特に係数が大きい場合には最適化が難しくなる。
• ニューラルネットワークアーキテクチャは十分な表現力を有しており、失敗は容量ではなく、ソフトPDE制約下の最適化に起因することを示している。
• カリキュラム正則化は精度を著しく向上させ、対流や反応問題で相対誤差・絶対誤差を約2桁近く低減し、結果のばらつきを減少させる。
• Seq2seq学習、時間区間でPDEを解くことは、全空間-時間を一度に学習するより著しく低い誤差を生み、反応拡散問題ではしばしば約2桁近く低い誤差になる。
• これらのアプローチを組み合わせると、通常のPINNトレーニングと比べて最大で1–2オーダーオブマグニチュードの誤差低減が達成できる。）