[論文レビュー] Convergence Analysis for the PINNs.

Yuling Jiao, Yanming Lai+4 more|arXiv (Cornell University)|Sep 4, 2021

Model Reduction and Neural Networks参考文献 29被引用数 7

ひとこと要約

この論文は、ディリクレ境界条件を満たす2階楕円型偏微分方程式（PDE）に物理的制約付きニューラルネットワーク（PINNs）を適用した場合の、最初の収束解析を確立した。誤差を近似誤差と統計的誤差に分解することで、ReLU³ネットワークとラデマッハ複雑度を用いて、ネットワークの幅、深さ、学習サンプル数の上限を導出し、明示的な一般化誤差制御のもとで収束を証明した。

ABSTRACT

In recent years, physical informed neural networks (PINNs) have been shown to be a powerful tool for solving PDEs empirically. However, numerical analysis of PINNs is still missing. In this paper, we prove the convergence rate to PINNs for the second order elliptic equations with Dirichlet boundary condition, by establishing the upper bounds on the number of training samples, depth and width of the deep neural networks to achieve desired accuracy. The error of PINNs is decomposed into approximation error and statistical error, where the approximation error is given in $C^2$ norm with $\mathrm{ReLU}^{3}$ networks, the statistical error is estimated by Rademacher complexity. We derive the bound on the Rademacher complexity of the non-Lipschitz composition of gradient norm with $\mathrm{ReLU}^{3}$ network, which is of immense independent interest.

研究の動機と目的

• 2階楕円型PDEに対するPINNsの理論的理解のギャップを埋めるために、厳密な収束解析を提供すること。
• PINNsの総誤差を、$C^2$ノルムにおける近似誤差と、ラデマッハ複雑度による統計的誤差に分解すること。
• 所望の精度を達成するために必要なネットワーク幅、深さ、学習サンプル数の明示的上限を導出すること。
• ReLU³ネットワークとの非リプシッツ的合成に対するラデマッハ複雑度の新しい上限を確立すること。これは、独立した理論的意義を有する。

提案手法

• ReLU³深層ニューラルネットワークを用いて、近似誤差の$C^2$ノルム誤差上限を導出する。
• ラデマッハ複雑度を用いて、PINNsの損失関数最適化における統計的誤差を定量化する。
• 勾配ノルムとReLU³ネットワークの合成を分析し、非リプシッツ的ラデマッハ複雑度上限を導出する。
• ネットワークアーキテクチャと学習サンプル数の制御を通じて、近似誤差と統計的誤差のバランスを取ることで収束を確立する。
• 総誤差を2つの異なる成分、すなわち近似誤差と統計的誤差に分解し、それぞれを別々に分析可能にする。
• 目標精度を達成するために必要なネットワークの深さと幅、および学習サンプル数の明示的上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ境界条件を満たす2階楕円型PDEに対するPINNsの収束速度は何か？
• RQ2 ネットワークの幅、深さ、および学習サンプル数は、PINNsの一般化誤差にどのように影響するか？
• RQ3 ReLU³ネットワークとの非リプシッツ的合成は、ラデマッハ複雑度を用いてバインド可能か？
• RQ4 $C^2$ノルムにおける近似誤差とPINNsの一般化性能の関係は何か？
• RQ5 アーキテクチャ的パラメータとデータサイズパラメータを用いて、PINNsの総誤差はどのように分解され、制御されるか？

主な発見

• この論文は、ディリクレ条件を満たす2階楕円型PDEを解くPINNsに対する、最初の収束速度解析を確立した。
• 所望の精度を達成するために必要な学習サンプル数、ネットワークの深さ、幅の明示的上限を提供した。
• 近似誤差はReLU³ネットワークを用いて$C^2$ノルムでバインドされ、解の近似の滑らかさが保証された。
• 勾配ノルムとReLU³ネットワークの非リプシッツ的合成に対するラデマッハ複雑度の新しい上限が導出され、これは独立した理論的価値を有する。
• 統計的誤差はラデマッハ複雑度によって制御され、PINN学習プロセスの一般化保証が可能になった。
• ネットワークの幅、深さ、および学習サンプル数を適切にスケーリングすることで、総誤差が収束することが示された。