[論文レビュー] High-dimensional approximation spaces of artificial neural networks and applications to partial differential equations

Pierfrancesco Beneventano, Patrick Cheridito+2 more|arXiv (Cornell University)|Dec 8, 2020

Model Reduction and Neural Networks参考文献 36被引用数 5

ひとこと要約

本稿では、次元の Curse に依存しない高次元関数の近似を厳密に分析するため、人工ニューラルネットワーク（ANN）の近似空間を導入する。これらの空間が線形結合、極限、無限合成に関して閉じていることを確立し、そのフレームワークを応用して、ReLU ニューラルネットワークが、次元と逆精度の多項式的増加に従うパラメータ数で一次輸送 PDE の解を近似できることを証明する。これにより、次元の Curse を克服する。

ABSTRACT

In this paper we develop a new machinery to study the capacity of artificial neural networks (ANNs) to approximate high-dimensional functions without suffering from the curse of dimensionality. Specifically, we introduce a concept which we refer to as approximation spaces of artificial neural networks and we present several tools to handle those spaces. Roughly speaking, approximation spaces consist of sequences of functions which can, in a suitable way, be approximated by ANNs without curse of dimensionality in the sense that the number of required ANN parameters to approximate a function of the sequence with an accuracy $\varepsilon > 0$ grows at most polynomially both in the reciprocal $1/\varepsilon$ of the required accuracy and in the dimension $d \in \mathbb{N} = \{1, 2, 3, \ldots \}$ of the function. We show that these approximation spaces are closed under various operations including linear combinations, formations of limits, and infinite compositions. To illustrate the utility of the machinery proposed in this paper, we employ the developed theory to prove that ANNs have the capacity to overcome the curse of dimensionality in the numerical approximation of certain first order transport partial differential equations (PDEs). We even prove that approximation spaces are closed under flows of first order transport PDEs.

研究の動機と目的

• 高次元関数空間における人工ニューラルネットワーク（ANN）の近似能力を分析する理論的枠組みを構築すること。
• 線形結合、極限、無限合成といった主要な演算に関して閉じた近似空間を定義し、それらを研究すること。
• ANN が次元の Curse に苦しむことなく一次輸送 PDE の解を近似できることを確立すること。
• このような PDE の解の流れが定義された近似空間内に留まり、効率的な数値近似が可能になることを示すこと。

提案手法

• 次元と逆精度における多項式的パラメータ増加を伴う関数列として、ANN の近似空間の概念を導入する。
• 関数族と次元写像を定義し、高次元関数列の振る舞いを形式化する。
• 閉じる性質を確立する：近似空間は線形結合、点별極限、および ANN の無限合成に関して閉じている。
• これらの空間内にオイラー近似スキームを構築し、時間発展する PDE 解をモデル化する。
• ReLU を用いて明示的な ANN 近似を構築し、パラメータ数と精度の観点から誤差境界を証明する。
• 一次輸送 PDE に理論を適用する。PDE の流れ作用素が、やや弱い正則性条件のもとで近似空間への属性を保存することを示す。

実験結果

リサーチクエスチョン

• RQ1 人工ニューラルネットワークは、次元の Curse に依存せずに高次元関数を近似可能か？ もしそうなら、どのような条件下で可能か？
• RQ2 近似空間の ANN が、線形結合や極限といった演算に関して閉じるという構造的性質は何か？
• RQ3 一次輸送 PDE の解の流れを、定義された近似空間内で ANN で表現・近似可能か？
• RQ4 このような PDE に対して、ANN 近似のパラメータ複雑性は、精度および次元に関してどのようにスケーリングされるか？
• RQ5 ReLU 活性化を用いたネットワークは、PDE 解の近似において多項式的パラメータ増加を達成でき、次元の Curse を克服できるか？

主な発見

• ANN の近似空間は線形結合に関して閉じており、近似可能な関数の線形結合が、パラメータ数の指数的増加なしに近似可能であることが保証される。
• 近似空間は点別極限に関して閉じており、ANN の列の極限として定義される関数の近似が可能である。
• 空間内における ANN の無限合成は、依然として近似空間内に留まり、複雑な反復写像のモデル化が可能になる。
• 一次輸送 PDE の流れは、近似空間内の関数を他の近似空間内の関数に写像する。構造が保存される。
• ReLU 活性化を用いたネットワークでは、一次輸送 PDE の解を近似するために必要なパラメータ数が、逆精度 ε および次元 d に関して、多項式的増加に抑えられる。明示的な指数の上限が提示されている。
• 具体的なパラメータ増加率が導出されている：例えば、所定の正則性および近似条件のもとで、パラメータ数は ε^{-1 - 2r₀(κ+2)/(1−ρκ)} d^{8+α+2r₁+2r₀(α(κ+1)+βκ)/(1−ρκ)} のオーダーに比例する。