[論文レビュー] On the Convergence and generalization of Physics Informed Neural Networks.

Yeonjong Shin, Jérôme Darbon+1 more|arXiv (Cornell University)|Apr 3, 2020

Model Reduction and Neural Networks参考文献 9被引用数 53

ひとこと要約

この論文は、物理学に基づくニューラルネットワーク（PINNs）の最初の理論的基盤を確立し、訓練データが増加するにつれて、PINNsが生成するニューラルネットワーク最小化子の列が、楕円型および放物型PDEの真の解へ、$L^2$ノルムにおいて強い収束を示すことを証明している。各最小化子が初期・境界条件を満たす場合、収束は$H^1$に改善される。

ABSTRACT

Physics informed neural networks (PINNs) are deep learning based techniques for solving partial differential equations (PDEs). Guided by data and physical laws, PINNs find a neural network that approximates the solution to a system of PDEs. Such a neural network is obtained by minimizing a loss function in which any prior knowledge of PDEs and data are encoded. Despite its remarkable empirical success, there is little theoretical justification for PINNs. In this paper, we establish a mathematical foundation of the PINNs methodology. As the number of data grows, PINNs generate a sequence of minimizers which correspond to a sequence of neural networks. We want to answer the question: Does the sequence of minimizers converge to the solution to the PDE? This question is also related to the generalization of PINNs. We consider two classes of PDEs: elliptic and parabolic. By adapting the Schuader approach, we show that the sequence of minimizers strongly converges to the PDE solution in $L^2$. Furthermore, we show that if each minimizer satisfies the initial/boundary conditions, the convergence mode can be improved to $H^1$. Computational examples are provided to illustrate our theoretical findings. To the best of our knowledge, this is the first theoretical work that shows the consistency of the PINNs methodology.

研究の動機と目的

• 現在のところ理論的根拠に欠けるが、強力な実験的性能を示す物理学に基づくニューラルネットワーク（PINNs）の、厳密な数学的基盤を提供すること。
• 訓練データ数が増加するにつれて、PINNsが生成する最小化子の列が、PDEの真の解へ収束するかどうかを調査すること。
• 学習済みニューラルネットワーク近似の収束特性を分析することで、PINNsの一般化行動を解明すること。
• SchauderのアプローチをPINNsに拡張し、初期・境界条件の実装を含む現実的な条件下での収束を確立すること。

提案手法

• Schauderの不動点定理の枠組みを適応し、PINN最小化子のPDE解への収束を分析する。
• PINNの損失関数を、データ適合性と物理法則の強制を組み合わせた形に定式化し、PDE制約を最適化目的に直接組み込む。
• 訓練データ数の増加に伴い、楕円型および放物型PDEの両方において、強い$L^2$収束を証明する。
• 各最小化子が初期および境界条件を正確に満たす場合、$H^1$収束が向上することを確立する。
• 変分解析とコンパクト性の議論を用いて、最小化子の列が前コンパクトであり、PDEの解へ収束することを示す。
• 関数解析的ツールを適用し、極限解の存在と一意性を保証し、ニューラルネットワーク近似と真のPDE解を結びつける。

実験結果

リサーチクエスチョン

• RQ1 訓練データ数が増加するにつれて、PINNsが生成するニューラルネットワーク最小化子の列は、PDEの真の解へ収束するか？
• RQ2 初期および境界データに異なる条件が課された場合、PINN近似の収束モード（例：$L^2$、$H^1$）はどのように変化するか？
• RQ3 Schauderのアプローチを、物理的制約を伴うPDEの文脈におけるPINNsの収束を証明するために適応可能か？
• RQ4 各最小化子に初期および境界条件を強制することで、近似の収束速度とノルムにどのような影響が生じるか？
• RQ5 PINNの手法は、データが増加するにつれて、その学習済み解が真のPDE解へ近づくという意味で一貫性を有するか？

主な発見

• 訓練データ数の増加に伴い、PINNsが生成する最小化子の列は、$L^2$ノルムにおいて真のPDE解へ強い収束を示す。
• 各最小化子が初期および境界条件を正確に満たす場合、収束モードは$L^2$から$H^1$に改善され、滑らかさと近似の質が向上することが示される。
• 理論的枠組みにより、PINN手法の一貫性が確立され、その実験的成功に対する最初の形式的根拠が提供される。
• 収束結果は、楕円型および放物型PDEの両方に対して証明されており、理論的アプローチの広範な適用可能性が示されている。
• Schauderのアプローチの使用により、関数空間におけるコンパクト性と連続性を活用して収束の証明が可能になった。
• 計算例により理論的発見が検証され、収束行動が予測された$L^2$および$H^1$モードと整合することが示された。