[論文レビュー] Deep neural networks overcome the curse of dimensionality in the numerical approximation of semilinear partial differential equations

Petru A. Cioica-Licht, Martin Hutzenthaler+1 more|arXiv (Cornell University)|May 28, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

この論文は、高次元の半線形PDEの解を、次元の呪いに苦しまずに近似できる深層ニューラルネットワーク（DNN）の可能性を証明している。非線形性、係数、初期条件にリプシッツ連続性の仮定をおくと、DNNのパラメータ数は次元$d$および逆精度$\varepsilon$に関して、多項式的にしか増加しない。これにより、高次元PDEの効率的数値解法が可能になる。

ABSTRACT

We prove that deep neural networks are capable of approximating solutions of semilinear Kolmogorov PDE in the case of gradient-independent, Lipschitz-continuous nonlinearities, while the required number of parameters in the networks grow at most polynomially in both dimension $d \in \mathbb{N}$ and prescribed reciprocal accuracy $\varepsilon$. Previously, this has only been proven in the case of semilinear heat equations.

研究の動機と目的

• 高次元の半線形PDEの解に対するDNNの効率的近似を理論的に保証すること。
• 有限差分法や有限要素法などの古典的数値手法における次元の呪いの課題に対処すること。
• 半線形熱方程式に限った先行研究を、勾配に依存しないリプシッツ連続非線形性をもつ一般の半線形コルモゴロフPDEに拡張すること。
• DNNのパラメータ数が次元$d$および逆精度$\varepsilon$に関して、多項式的にしか増加しないことを証明すること。
• 一般のリプシッツ連続係数および初期条件をもつPDEに対するDNNベースの近似の厳密な数学的枠組みを提供すること。

提案手法

• 著者たちは、重み行列とバイアスベクトルを用いて定義される深層ニューラルネットワーク（DNN）の数学的枠組みを用いる。活性化関数にはReLUを用いる。
• 時間再帰関数、Euler-Maruyama近似、PDEのためのメソッド・オブ・ラインズ（MLP）のDNN表現を構築する。
• 真のPDE解とMLP近似との間の誤差を抑え込むための摂動解析を開発する。
• 証明は、係数および初期条件の摂動に対するPDE解の安定性を保証するリャプノフ型関数推定と安定性バウンドに依存する。
• DNNは、初期条件、ドリフト係数、拡散係数を、制御された誤差とリプシッツ連続性を保ちながら近似するように構築される。
• 最終的なDNN近似は、単位立方体$[0,1]^d$上での$L^2$ノルムにおいて、次元と精度の多項式的パラメータ成長を伴って収束することが示された。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、次元と精度の多項式的パラメータ成長を伴って、高次元の半線形PDEの解を近似できるか？
• RQ2 この手法は、半線形コルモゴロフPDEの数値解法において、次元の呪いを克服できるか？
• RQ3 理論的保証は、半線形熱方程式に限らず、リプシッツ連続非線形性および係数をもつ一般の半線形PDEにまで拡張可能か？
• RQ4 パラメータ数はPDEの次元$d$および所望の精度$\varepsilon$にどのように依存するか？
• RQ5 DNNは、PDE係数および初期データの摂動に対して、精度と安定性を保証するようにどのように構築できるか？

主な発見

• 近似DNNのパラメータ数は、PDEの次元$d$および逆精度$\varepsilon$に関して、多項式的にしか増加しない。具体的には、ある$\eta > 0$に対して$\eta d^{\eta} \varepsilon^{-\eta}$で上界が与えられる。
• $[0,1]^d$上での真の解とDNN近似との$L^2$誤差は、任意の$\varepsilon \in (0,1]$に対して$\varepsilon$で抑えられる。
• この手法は、リプシッツ連続非線形性、ドリフト、拡散、初期条件をもつ一般の半線形コルモゴロフPDEに適用可能である。
• DNNは、PDE係数および初期データの摂動に対してリプシッツ連続性と近似精度を保つように構築される。
• 理論的枠組みにより、DNN近似は高次元でも安定的かつ収束的であることが保証される。
• 先行研究が半線形熱方程式に限定されていたのを、勾配に依存しない非線形性をもつより広いクラスの半線形PDEに一般化した結果が得られた。