[論文レビュー] Space-time deep neural network approximations for high-dimensional partial differential equations

Fabian Hornung, Arnulf Jentzen+1 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Numerical Methods in Computational Mathematics被引用数 5

ひとこと要約

本稿では、Feynman–Kac 公式とモンテカルロ・オイラースキームを用いて、高次元のコルモゴロフ偏微分方程式（PDE）のための空間時間ディープニューラルネットワーク（DNN）近似法を提案する。DNNのパラメータ数が空間次元 $d$ および逆精度 $\varepsilon^{-1}$ に対して多項式的にしか増加しないことを証明し、$[0,T] \times [a,b]^d$ 上の全空間時間解に関して次元の呪いを克服することを示した。

ABSTRACT

It is one of the most challenging issues in applied mathematics to approximately solve high-dimensional partial differential equations (PDEs) and most of the numerical approximation methods for PDEs in the scientific literature suffer from the so-called curse of dimensionality in the sense that the number of computational operations employed in the corresponding approximation scheme to obtain an approximation precision $\varepsilon>0$ grows exponentially in the PDE dimension and/or the reciprocal of $\varepsilon$. Recently, certain deep learning based approximation methods for PDEs have been proposed and various numerical simulations for such methods suggest that deep neural network (DNN) approximations might have the capacity to indeed overcome the curse of dimensionality in the sense that the number of real parameters used to describe the approximating DNNs grows at most polynomially in both the PDE dimension $d\in\mathbb{N}$ and the reciprocal of the prescribed accuracy $\varepsilon>0$. There are now also a few rigorous results in the scientific literature which substantiate this conjecture by proving that DNNs overcome the curse of dimensionality in approximating solutions of PDEs. Each of these results establishes that DNNs overcome the curse of dimensionality in approximating suitable PDE solutions at a fixed time point $T>0$ and on a compact cube $[a,b]^d$ in space but none of these results provides an answer to the question whether the entire PDE solution on $[0,T] imes [a,b]^d$ can be approximated by DNNs without the curse of dimensionality. It is precisely the subject of this article to overcome this issue. More specifically, the main result of this work in particular proves for every $a\in\mathbb{R}$, $ b\in (a,\infty)$ that solutions of certain Kolmogorov PDEs can be approximated by DNNs on the space-time region $[0,T] imes [a,b]^d$ without the curse of dimensionality.

研究の動機と目的

• 固定時刻での解の近似にとどまる既存のディープラーニングベースの PDE スolver のギャップを埋める。すなわち、全空間時間領域における解の近似を実現する。
• ディープニューラルネットワークが高次元 PDE の全解を、計算コストの指数的増加なしに近似可能であるという、厳密な数学的証明を確立する。
• コルモゴロフ PDE に対して、空間時間領域 $[0,T] \times [a,b]^d$ 全体で次元の呪いを DNN が克服できることを証明する。
• 確率的微分方程式の近似と DNN 実装を組み合わせた構成的技法を提供し、パrameter の多項式的スケーリングを達成する。
• 近似誤差が空間時間領域上で $L^p$ ノルムで $\varepsilon$ 以下に抑えられることを保証する。

提案手法

• コルモゴロフ PDE の解を、確率過程の関数の期待値に結びつけるために Feynman–Kac 公式を用いる。
• 関連する SDE を離散化するため、モンテカルロ・オイラー近似を用いて解の期待値の数値計算を可能にする。
• モンテカルロ・オイラー近似を近似するディープニューラルネットワークを構築し、ネットワークのパラメータが $d$ および $\varepsilon^{-1}$ に対して多項式的にスケーリングされることを保証する。
• 時間的および空間的依存の解をモデル化するため、DNN の合成を適用し、活性化関数を選び、正則性と近似精度を維持する。
• Euler–Maruyama スキームおよび DNN 近似の誤差推定を用いて、$[0,T] \times [a,b]^d$ 上の $L^p$ ノルムにおける総誤差を抑え、その上限を求める。
• DNN のパラメータ数が、次元 $d$ や精度 $\varepsilon$ に依存しないある定数 $c > 0$ を用いて $c \varepsilon^{-c} d^c$ 以下に抑えられることを確立する。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、空間時間領域 $[0,T] \times [a,b]^d$ 全体にわたり、高次元コルモゴロフ PDE の解を、計算コストの指数的増加なしに近似可能か？
• RQ2 空間時間 DNN の使用により、パラメータ数のスケーリングに着目した場合、高次元 PDE の解近似において次元の呪いを克服できるか？
• RQ3 モンテカルロ・オイラースキームと DNN の組み合わせにより、$L^p$ ノルム誤差が $\varepsilon$ 以下に抑えられ、かつパラメータ数が多項式的増加を示す近似解が得られるか？
• RQ4 空間時間領域 $[0,T] \times [a,b]^d$ 全体にわたり、解の誤差を一様に抑えられる DNN 近似を構築することは可能か？
• RQ5 提案手法により、DNN の実際のパラメータ数が、PDE の次元 $d$ および逆精度 $\varepsilon^{-1}$ に対して、多項式的増加に抑えられることが保証されるか？

主な発見

• 主な結果として、任意の $a \in \mathbb{R}$、$b \in (a, \infty)$ に対して、$[0,T] \times [a,b]^d$ 上の特定のコルモゴロフ PDE の解が、次元の呪いを伴わずに DNN で近似可能であることを証明した。
• 近似に用いる DNN のパラメータ数は、空間次元 $d$ および所望の精度の逆数 $\varepsilon^{-1}$ に対して、多項式的増加に抑えられ、ある定数 $c > 0$ を用いて $c \varepsilon^{-c} d^c$ 以下に抑えられることを示した。
• $[0,T] \times [a,b]^d$ 上の DNN 近似の $L^p$ ノルム誤差は、任意の $\varepsilon \in (0,1]$ に対して $\varepsilon$ 以下に抑えられる。
• SDE に関連するモンテカルロ・オイラー近似を実装する DNN の合成により近似が達成され、収束性および正則性が保証された。
• DNN 実装 $\mathcal{R}_{\mathfrak{r}}(\mathfrak{u}_{d,\varepsilon})$ が $\mathbb{R}^{d+1}$ 上の連続関数として、全空間時間解を表すことを保証した。
• 主な技術的境界が確立された：ドリフトおよび拡散係数はリプシッツ連続であり、初期条件は成長が制御されたホルダー連続性を満たしており、安定な DNN 近似を可能にした。