[論文レビュー] Deep neural network approximations for Monte Carlo algorithms

Philipp Grohs, Arnulf Jentzen+1 more|arXiv (Cornell University)|Aug 28, 2019

Model Reduction and Neural Networks参考文献 55被引用数 27

ひとこと要約

本稿では、関数が次元の呪いなしにモンテカルロスキームによって近似可能であるならば、深層ニューラルネットワーク（DNN）でも同様に次元の呪いなしに近似可能であるという一般的な枠組みを確立している。主な結果として、Kolmogorov PDEなどの高次元PDEの解を近似するためのDNNに必要なパラメータ数に対する明示的な多項式バウンドが得られている。

ABSTRACT

Recently, it has been proposed in the literature to employ deep neural networks (DNNs) together with stochastic gradient descent methods to approximate solutions of PDEs. There are also a few results in the literature which prove that DNNs can approximate solutions of certain PDEs without the curse of dimensionality in the sense that the number of real parameters used to describe the DNN grows at most polynomially both in the PDE dimension and the reciprocal of the prescribed approximation accuracy. One key argument in most of these results is, first, to use a Monte Carlo approximation scheme which can approximate the solution of the PDE under consideration at a fixed space-time point without the curse of dimensionality and, thereafter, to prove that DNNs are flexible enough to mimic the behaviour of the used approximation scheme. Having this in mind, one could aim for a general abstract result which shows under suitable assumptions that if a certain function can be approximated by any kind of (Monte Carlo) approximation scheme without the curse of dimensionality, then this function can also be approximated with DNNs without the curse of dimensionality. It is a key contribution of this article to make a first step towards this direction. In particular, the main result of this paper, essentially, shows that if a function can be approximated by means of some suitable discrete approximation scheme without the curse of dimensionality and if there exist DNNs which satisfy certain regularity properties and which approximate this discrete approximation scheme without the curse of dimensionality, then the function itself can also be approximated with DNNs without the curse of dimensionality. As an application of this result we establish that solutions of suitable Kolmogorov PDEs can be approximated with DNNs without the curse of dimensionality.

研究の動機と目的

• モンテカルロ近似スキームと次元の呪いなしに近似可能であるDNN近似を結びつける一般的な理論的枠組みを確立すること。
• 関数が離散スキームによって次元の呪いなしに近似可能であるならば、DNNによっても同様に次元の呪いなしに近似可能であることを示すこと。
• Kolmogorov PDEの解を所定の精度で近似するためのDNNに必要なパラメータ数の明示的な上界を導出すること。
• DNNの複雑さが次元および精度にどのように依存するかの定量的推定を提供し、多項式スケーリングを保証すること。

提案手法

• 著者らは、正則性および近似条件の下で、離散モンテカルロスキームとDNN近似を結びつける一般近似結果を導入する。
• ReLUを用いたDNNのクラスを定義し、その実現関数および合成則を分析する。
• DNNが与えられたモンテカルロ近似スキームの振る舞いを、誤差とパラメータ数を制御して模倣できることを示す。
• 主な技術的道具は、高次元における確率変数の$L^p$ノルムおよび共分散行列のトレースノルムのバウンドである。
• 目的関数の滑らかさおよび成長に関する仮定と、その近似スキームに関する仮定を用いる。
• 理論的結果をKolmogorov PDEに適用する際には、モンテカルロEuler法がDNN近似に必要な条件を満たすことを確認する。

実験結果

リサーチクエスチョン

• RQ1 関数が同じ関数についてモンテカルロスキームによって次元の呪いなしに近似可能であるならば、深層ニューラルネットワーク（DNN）でも同様に次元の呪いなしに近似可能か？
• RQ2 所定の誤差許容範囲内で関数を近似するためのDNNに必要なパラメータ数の明示的バウンドは何か？
• RQ3 関数およびその近似スキームにどのような条件下で、DNNはスキームの次元に依存しない収束性を継承できるか？
• RQ4 DNNのパラメータ数は次元$d$および精度$\varepsilon$に対してどのようにスケーリングされるか？
• RQ5 この一般的な枠組みは、多項式的パラメータ成長を伴うDNNを用いてKolmogorov PDEの解を近似するために適用可能か？

主な発見

• 関数が離散スキームによって次元の呪いなしに近似可能であり、かつDNNがそのスキームを制御されたパラメータ数で近似できるならば、関数自体もDNNによって次元の呪いなしに近似可能である。
• DNNの実パラメータ数は、次元$d$および逆精度$\varepsilon^{-1}$に関して、最悪でも多項式的に増加し、明示的な指数が与えられている。
• Kolmogorov PDEの解に対して、DNN近似誤差は確率測度上の$L^p$ノルムで$\varepsilon$以下に抑えられ、パラメータ数$\mathcal{P}(\Psi_{d,\varepsilon}) \leq c\,d^c\varepsilon^{-c}$（$c>0$ なる定数）が成り立つ。
• 初期関数およびドリフト関数が多項式的に成長するPDEに対して、適切なモーメントおよび正則性条件を満たせば、この枠組みは適用可能である。
• 確率測度$\nu_d$に対して、モーメントおよびトレースノルムの有界性といった弱い仮定のもとで、結果は安定である。
• 解析により、DNNが誤差制御と多項式的複雑性を伴い、指数的スケーリングを回避して高次元PDEの解を近似可能であることが確認された。