[論文レビュー] Space-time error estimates for deep neural network approximations for differential equations

Philipp Grohs, Fabian Hornung+2 more|arXiv (Cornell University)|Aug 11, 2019

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿は、Euler型時間離散化を用いた摂動付き確率微分方程式の解に対する深層ニューラルネットワーク（DNN）近似について、空間時間誤差推定を確立する。著者らは、新たな人工ニューラルネットワーク（ANN）微積分を構築し、積とEulerステップを近似するDNNを構築することで、DNN近似誤差が層数およびニューロン数に関して多項式的に減少することを証明した。誤差の明示的境界は、時間区間、次元、ネットワークの深さに依存する。

ABSTRACT

Over the last few years deep artificial neural networks (DNNs) have very successfully been used in numerical simulations for a wide variety of computational problems including computer vision, image classification, speech recognition, natural language processing, as well as computational advertisement. In addition, it has recently been proposed to approximate solutions of partial differential equations (PDEs) by means of stochastic learning problems involving DNNs. There are now also a few rigorous mathematical results in the scientific literature which provide error estimates for such deep learning based approximation methods for PDEs. All of these articles provide spatial error estimates for neural network approximations for PDEs but do not provide error estimates for the entire space-time error for the considered neural network approximations. It is the subject of the main result of this article to provide space-time error estimates for DNN approximations of Euler approximations of certain perturbed differential equations. Our proof of this result is based (i) on a certain artificial neural network (ANN) calculus and (ii) on ANN approximation results for products of the form $[0,T] imes \mathbb{R}^d i (t,x)\mapsto tx\in \mathbb{R}^d$ where $T\in (0,\infty)$, $d\in \mathbb{N}$, which we both develop within this article.

研究の動機と目的

• 既存の文献における空間誤差推定にとどまらず、空間時間誤差推定を提供することで、そのギャップを埋める。
• 時間に依存するPDEおよび確率過程のDNN近似を分析するための、包括的な人工ニューラルネットワーク（ANN）微積分を構築する。
• 確率微分方程式のEuler離散化に生じる積および合成構造を正確に近似するDNNを構築する。
• 空間および時間領域におけるEulerスキームのDNN近似について、事前および事後誤差推定を導出する。
• 空間時間領域で所望の精度を達成するために必要なネットワークサイズ（パラメータ数）の明示的境界を確立する。

提案手法

• DNNにおける複雑な関数近似をモデル化するため、合成、並列化、和、拡張を含む、人工ニューラルネットワーク（ANN）の形式的微積分を構築した。
• 二乗関数および多次元積のためのANN表現を導入し、Eulerステップ近似のためのDNN構築を可能にした。
• ReLU活性化関数を用いて、繰り返し適用されるEulerステップを介して摂動付き確率微分方程式の解を近似するDNNを構築した。
• 真のEuler近似とそのDNN表現との差を空間時間領域でバインドすることで、事前誤差推定を確立した。
• 特に高次元ベクトルの和および積に対して、ノルムの成長を制御するため、Jensenの不等式およびHölderの不等式を用いた。
• ネットワークパラメータの境界と誤差伝搬解析を組み合わせ、近似誤差がネットワークの深さ、幅、時間離散化ステップサイズにどのように依存するかを明示的に導出した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、摂動付き確率微分方程式の解に対して、空間時間近似を高精度で行うことができるか？
• RQ2 DNNのサイズ（パラメータ数）と、空間時間領域におけるその近似誤差の関係は何か？
• RQ3 微分方程式のDNNベースの解法の厳密な誤差解析を支援するため、人工ニューラルネットワーク微積分を体系的にどのように開発できるか？
• RQ4 SDEのEuler離散化を近似する際のDNNの近似誤差の明示的境界は何か？
• RQ5 DNN近似の誤差は空間および時間全域にわたり一様に制御可能か？収束速度はいかなるものか？

主な発見

• 本稿は、摂動付き確率微分方程式の解に対するDNN近似について、空間時間誤差推定を初めて確立した。これは、従来の空間誤差境界に限られていた先行研究を拡張するものである。
• DNN近似誤差が層数およびニューロン数に関して多項式的に減少することが示され、時間区間 $ T $、次元 $ d $、ネットワークの深さに明示的な依存関係を示した。
• 誤差境界は $ \|Y^{d,N}_{t,x} - \mathcal{R}_a(\Psi_{\varepsilon,d,N,y})(t,x)\| \leq 20c^6 d^{1/2} N^{3/2} \varepsilon (1 + \|x\|^3 + \|y\|^3) $ の形をとり、$ \varepsilon $ が近似精度を制御する。
• DNNのパラメータ数は $ \mathcal{P}(\Psi_{\varepsilon,d,N,y}) \leq 54c^4 N^6 d^{16+8\mathfrak{d}} (1 + |\ln \varepsilon|^2) $ で有界であり、時間離散化数 $ N $、次元 $ d $、精度 $ \varepsilon $ に明示的な依存関係を示した。
• 解析により、DNNがEulerスキームの解を、次元 $ d $ および $ N $ に関して多項式的、$ \varepsilon^{-1} $ に関して対数的成長に抑えられる近似ができることを証明した。これにより、スケーラビリティが保証された。
• 結果は、新たなANN微積分および積と合成の近似を通じて得られ、空間時間近似プロセス全体の厳密な制御が可能になった。