[論文レビュー] Uniform error estimates for artificial neural network approximations for heat equations

Lukas Gonon, Philipp Grohs+3 more|arXiv (Cornell University)|Nov 20, 2019

Model Reduction and Neural Networks被引用数 5

ひとこと要約

この論文は、熱方程式のための人工ニューラルネットワーク（ANN）近似について、一様 $L^∞$ 誤差推定を確立し、$±\varepsilon$ の精度を達成するために必要なパラメータ数が、次元 $d$ および $\varepsilon^{-1}$ に対して、多項式的にしか増加しないことを証明している。これにより、ANN がより強い誤差規範における次元の呪いを克服できることを示している。この結果は、従来の $L^p$-に基づく収束保証を、より厳しい一様ノルム設定に拡張したものである。

ABSTRACT

Recently, artificial neural networks (ANNs) in conjunction with stochastic gradient descent optimization methods have been employed to approximately compute solutions of possibly rather high-dimensional partial differential equations (PDEs). Very recently, there have also been a number of rigorous mathematical results in the scientific literature which examine the approximation capabilities of such deep learning based approximation algorithms for PDEs. These mathematical results from the scientific literature prove in part that algorithms based on ANNs are capable of overcoming the curse of dimensionality in the numerical approximation of high-dimensional PDEs. In these mathematical results from the scientific literature usually the error between the solution of the PDE and the approximating ANN is measured in the $L^p$-sense with respect to some $p \in [1,\infty)$ and some probability measure. In many applications it is, however, also important to control the error in a uniform $L^\infty$-sense. The key contribution of the main result of this article is to develop the techniques to obtain error estimates between solutions of PDEs and approximating ANNs in the uniform $L^\infty$-sense. In particular, we prove that the number of parameters of an ANN to uniformly approximate the classical solution of the heat equation in a region $ [a,b]^d $ for a fixed time point $ T \in (0,\infty) $ grows at most polynomially in the dimension $ d \in \mathbb{N} $ and the reciprocal of the approximation precision $ \varepsilon > 0 $. This shows that ANNs can overcome the curse of dimensionality in the numerical approximation of the heat equation when the error is measured in the uniform $L^\infty$-norm.

研究の動機と目的

• 従来の研究が $L^p$-ノルム誤差制御に限られていたのに対し、特に熱方程式を対象として、PDE の ANN 近似における一様 $L^\infty$ 誤差推定を確立することで、既存の文献におけるギャップを埋めること。
• 誤差が一様 $L^\infty$-ノルムで測られる場合に、ディープラーニングベースの手法が次元の呪いを克服できることを示すこと。これはより厳しい基準であり、実用的にも関連性の高い指標である。
• 高次元 PDE における一様誤差制御を扱える、新たな解析的手法を開発すること。既存の $L^p$-に基づく手法は $L^\infty$ 設定に拡張できないため、この点が重要である。
• 制御理論、ファイナンス、工学シミュレーションなど、点ごとの精度が求められる応用分野における ANN の使用に、厳密な理論的基盤を提供すること。

提案手法

• 著者らは、ブラウン運動の確率的解析と PDE の正則性理論、モンテカルロ近似技術を組み合わせることで、定量的な $L^\infty$ 誤差推定を導出している。
• 解の確率的表現をフェインマン＝カックの公式を用いて得ており、誤差解析において確率過程を活用できるようにしている。
• 主な技術的ツールには、係数がアフィン関数であるスツルク・微分方程式の解およびその差のための事前推定が含まれる。特に幾何的ブラウン運動に対して有効である。
• この手法では、PDE の終端条件を近似するニューラルネットワークアーキテクチャを構築し、深層ネットワーク構造を用いて時間発展を前方に伝播させる。
• 近似誤差を一様ノルムで制御するために、ソボレフ型推定とユークリッド球の体積評価を用いている。
• 証明手法は、従来の研究（例：Elbrächter ら [20]）とは異なり、明示的な解析解に依存せず、経路ごと・標本ごとの収束議論に依拠している。

実験結果

リサーチクエスチョン

• RQ1 人工ニューラルネットワークは、熱方程式に対して一様 $L^\infty$-ノルムで誤差を測定した場合、次元の呪いを克服できるか？
• RQ2 一様誤差制御を用いる場合、次元 $d$ および所望の精度 $\varepsilon$ に対して、ANN のパラメータ数はどのように依存するか？
• RQ3 $L^p$-誤差推定に用いられる手法を、$L^\infty$-ノルムにおける一様誤差境界を得るために適応可能か？
• RQ4 次元に依存しない収束速度と一様誤差制御を備えた、熱方程式のためのディープラーニングベースの近似手法を構築することは可能か？

主な発見

• 区間 $[a,b]^d$ 上で時間 $T$ における熱方程式の解の、一様 $\varepsilon$-近似に必要なパラメータ数は、$\kappa d^{11 + 4\max\{p, \frac{1}{2}\}} \varepsilon^{-4}$ に至るまで多項式的増加に抑えられる。ここで $\kappa$ は普遍定数であり、$p$ は初期条件の成長と関係する。
• 一様 $L^\infty$ 誤差境界は、次元 $d$ および逆精度 $\varepsilon^{-1}$ に対して多項式的依存性を示しており、ANN がこのノルムにおいて次元の呪いを克服できることを確認している。
• 初期条件 $u_d(0,x) = \ln(1 + e^{x_1 + \cdots + x_d - K_d}) + K_d$ で、$|K_d| \leq c d^p$ を満たす関数のクラスに対しても、この結果は成り立つ。これらは滑らかで、指数的成長を示さない。
• ニューラルネットワークのアーキテクチャは、出力が $\mathbb{R}^d$ 上の連続関数となるように構築されており、ネットワークパラメータは $d$ および $\varepsilon$ の関数として明示的に有界である。
• 証明により、近似誤差が領域 $[a,b]^d$ 全体で一様に有界であることが示されており、平均値や積分的意味での有界性ではなく、点ごとの有界性が保証されている。