[論文レビュー] Robust Learning of Physics Informed Neural Networks.

Chandrajit Bajaj, Luke McLennan+2 more|arXiv (Cornell University)|Oct 26, 2021

Model Reduction and Neural Networks参考文献 40被引用数 7

ひとこと要約

本稿では、ノイズのある学習データに対する感度を軽減し、PDEの解における過学習を防ぐためにガウス過程（GP）に基づくスムージングを用いたロバストな物理情報付きニューラルネットワーク（PINN）フレームワークを提案する。GPの分散推定とスパースなインダクションポイントを組み合わせることで、一般化性能が向上し、局所最適解への収束が抑制され、時間に依存するシュレーディンガー方程式およびバーガース方程式において、標準PINNよりも優れた性能を達成する。

ABSTRACT

Physics-informed Neural Networks (PINNs) have been shown to be effective in solving partial differential equations by capturing the physics induced constraints as a part of the training loss function. This paper shows that a PINN can be sensitive to errors in training data and overfit itself in dynamically propagating these errors over the domain of the solution of the PDE. It also shows how physical regularizations based on continuity criteria and conservation laws fail to address this issue and rather introduce problems of their own causing the deep network to converge to a physics-obeying local minimum instead of the global minimum. We introduce Gaussian Process (GP) based smoothing that recovers the performance of a PINN and promises a robust architecture against noise/errors in measurements. Additionally, we illustrate an inexpensive method of quantifying the evolution of uncertainty based on the variance estimation of GPs on boundary data. Robust PINN performance is also shown to be achievable by choice of sparse sets of inducing points based on sparsely induced GPs. We demonstrate the performance of our proposed methods and compare the results from existing benchmark models in literature for time-dependent Schr\odinger and Burgers' equations.

研究の動機と目的

• 偏微分方程式（PDE）を解く際のPINNが、ノイズや誤った学習データに対して感受しやすい問題に対処すること。
• 連続性や保存則といった物理的正則化が、なぜPINNを最適解ではなく、部分的な最適解（局所最適解）に収束させるのかを調査すること。
• ガウス過程ベースのスムージングを用いて、データノイズ下でも精度と一般化性能を維持できるロバストなPINNアーキテクチャを開発すること。
• GP分散推定を用いて境界データにおける効率的な不確実性定量化を可能にすること。
• スパースなインダクションポイントが、計算コストを削減しながらも性能を維持する程度を実証すること。

提案手法

• ノイズのある学習データをスムージングし、PINNの損失関数を正則化するためにガウス過程（GP）回帰を適用し、測定誤差への過学習を低減する。
• GP分散推定を用いて、解領域全体における不確実性の伝播を定量化し、境界データに対する信頼性の高い不確実性測定を提供する。
• GPベースのスムージングをPINNの学習目的関数に統合し、物理的制約を強制しながらも、データノイズに対するロバスト性を向上させる。
• GPにおけるスパースなインダクションポイントを活用して計算複雑性を低減し、大規模な領域におけるスケーラブルな学習を可能にする。
• PINNの物理的制約とGP正則化付きのデータ適合項を組み合わせたハイブリッド損失関数を定式化し、精度とロバスト性のバランスを取る。
• 確実性を考慮した正則化を施したステochastic gradient descentを用いて、組み合わせ損失を最適化し、ノイズの強いデータポイントへの過学習を防止する。

実験結果

リサーチクエスチョン

• RQ1 データノイズは、PDEを解く際の標準PINNの一般化性能と収束行動にどのように影響を与えるか？
• RQ2 連続性や保存則といった物理的正則化が、なぜPINNのロバスト性を向上させず、むしろ局所最適解への収束を引き起こすのか？
• RQ3 ガウス過程ベースのスムージングは、ノイズのある学習データがPINN性能に与える影響を効果的に軽減できるか？
• RQ4 GP分散推定を用いて、PINN学習中に境界データの不確実性を効率的に定量化できるか？
• RQ5 GP近似におけるスパースなインダクションポイントは、計算コストを削減しながらも、性能を維持できる程度はどの程度か？

主な発見

• 提案されたGPベースのスムージングは、ノイズのある学習データに対するPINNのロバスト性を顕著に向上させ、時間に依存するPDEにおける過学習を低減し、一般化性能を向上させる。
• 連続性や保存則といった物理的正則化は、局所最適解への収束を防げず、特にデータノイズが強い状況では性能を劣化させることがある。
• GP分散推定により、境界データにおける不確実性伝播の正確かつ低コストな定量化が可能となり、不確実性を考慮した学習を支援する。
• GPフレームワークにおけるスパースなインダクションポイントは、計算コストを削減しながらも高い性能を維持でき、大規模領域へのスケーラブルな展開を可能にする。
• 提案されたロバストPINNは、時間に依存するシュレーディンガー方程式およびバーガース方程式において、標準PINNおよびベンチマークモデルを上回る性能を示し、特にノイズのある条件下で顕著な優位性を示す。
• 硬い物理的制約によって生じる誤った物理的制約を満たす局所最適解への収束を回避することで、グローバル最小値への収束が改善される。