[論文レビュー] Recipes for when Physics Fails: Recovering Robust Learning of Physics Informed Neural Networks

Chandrajit Bajaj, Luke McLennan+2 more|arXiv (Cornell University)|Oct 26, 2021

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿では、PDEを解く際のノイズのある学習データに対するロバスト性を向上させるために、ガウス過程（GP）で滑らかにした物理情報型ニューラルネットワーク（PINN）を提案する。境界データをGP回帰で滑らかにし、スパースな誘導点を用いることで、誤差の拡散を低減し、ショック波のような鋭い特徴を保持するとともに、不確実性の定量化を可能にする。シュレーディンガー方程式およびバーガース方程式のベンチマークテストにおいて、標準PINNや物理的正則化を施した変種を上回る性能を発揮する。

ABSTRACT

Physics-informed Neural Networks (PINNs) have been shown to be effective in solving partial differential equations by capturing the physics induced constraints as a part of the training loss function. This paper shows that a PINN can be sensitive to errors in training data and overfit itself in dynamically propagating these errors over the domain of the solution of the PDE. It also shows how physical regularizations based on continuity criteria and conservation laws fail to address this issue and rather introduce problems of their own causing the deep network to converge to a physics-obeying local minimum instead of the global minimum. We introduce Gaussian Process (GP) based smoothing that recovers the performance of a PINN and promises a robust architecture against noise/errors in measurements. Additionally, we illustrate an inexpensive method of quantifying the evolution of uncertainty based on the variance estimation of GPs on boundary data. Robust PINN performance is also shown to be achievable by choice of sparse sets of inducing points based on sparsely induced GPs. We demonstrate the performance of our proposed methods and compare the results from existing benchmark models in literature for time-dependent Schrödinger and Burgers' equations.

研究の動機と目的

• 標準PINNがノイズのある境界データに対して感受性を示し、測定誤差下でも一般化に失敗する理由を調査すること。
• 連続性や保存則などの物理的正則化（例：cPINN）が、PINNにおける誤差拡散を防げない限界を分析すること。
• ノイズのある学習データをGPベースで滑らかにすることで、誤差増幅を緩和するロバストなPINNアーキテクチャを構築すること。
• 境界データに対するGP事前分布からの分散推定を用いて、PINN予測における不確実性の定量化を可能にすること。
• スパースなGPフレームワークにおけるスパースな誘導点を用いることで、GP統合の計算コストを低減すること。

提案手法

• ノイズのある初期条件データをGP回帰で事前に滑らかにすることで、高周波数ノイズと不安定性を低減する。
• 適切に選択された誘導点を用いたスパースなGP定式化を採用し、計算コストを削減しながらも予測精度を維持する。
• GPで滑らかにした境界データをPINNの損失関数に統合し、PDEの残差最小化によって物理的制約を保持する。
• 境界データにおけるGPモデルの予測分散を用いて、PINN予測の不確実性を推定する。
• 時間依存PDE、特に非線形シュレーディンガー方程式およびバーガース方程式に対して、ノイズのある初期条件を用いてGPで滑らかにしたPINNを訓練・評価する。
• 定量的誤差指標と解の忠実度の可視化分析を用いて、標準PINN、cPINN、および他の正則化アーキテクチャと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 境界データのノイズが、時間依存PDEを解く際の標準PINNの一般化性能と解の忠実度にどのように影響を与えるか？
• RQ2 連続性や保存則のような物理的正則化が、ノイズのあるPINN学習においてなぜロバスト性を向上させないのか？
• RQ3 ノイズのある境界データをGPベースで滑らかにすることで、PINNにおける解の精度を回復させ、誤差の拡散を低減できるか？
• RQ4 境界データにおけるGP分散推定による不確実性定量化は、ノイズのあるデータ下でのPINN予測の信頼性をどのように向上させるか？
• RQ5 スパースなGP近似は、計算コストを削減しながらも、GPで滑らかにしたPINNの性能を維持できるか？

主な発見

• ノイズのある初期データで学習したヴァニラPINNは、バーガース方程式におけるショック波のような鋭い特徴を回復できず、時間経過とともに誤差の拡散が解を歪めてしまう。
• cPINNに見られるような物理的正則化（例：連続性・保存則）は、ノイズのあるデータへの過剰適合を防げず、真の物理的解を破る局所最適解に収束させる傾向がある。
• GPで滑らかにしたPINNは、2次元バーガース方程式においても高いノイズ（σ=0.5）下でも初期条件を的確に回復し、ショック波構造を保持することができ、標準PINNやcPINNモデルを上回る性能を発揮する。
• スパースGPバージョン（SGP-PINN）は、完全なGP-PINNと同等の性能を達成しながらも、顕著に計算コストを削減でき、スケーラブルな不確実性を伴うPDE解法を実現する。
• GPモデルからの予測分散は信頼性のある不確実性の指標を提供し、鋭い勾配付近で高い分散が観測されることで、予測リスクの高い領域が特定できる。
• カーネルの選定と誘導点の配置がモデル性能に顕著に影響を与え、均等なサンプリングでは鋭い勾配を正しく表現できず、ショックフロント付近で過剰に滑らかにされてしまう。