[論文レビュー] Deep neural network approximation theory for high-dimensional functions

Pierfrancesco Beneventano, Patrick Cheridito+3 more|arXiv (Cornell University)|Dec 29, 2021

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、深層ニューラルネットワーク（DNNs）が、次元の呪いに見舞われることなく、広範な高次元関数のクラスを近似可能であることを確立している。近似空間を導入し、局所リプシッツ連続関数、最大値、積の合成に関する閉包性を証明することで、著者らはDNNsが入力次元と逆精度に応じて多項式的増加のパラメータ数を必要とすることを示しており、複雑な高次元関数の効率的近似を可能としている。

ABSTRACT

The purpose of this article is to develop machinery to study the capacity of deep neural networks (DNNs) to approximate high-dimensional functions. In particular, we show that DNNs have the expressive power to overcome the curse of dimensionality in the approximation of a large class of functions. More precisely, we prove that these functions can be approximated by DNNs on compact sets such that the number of parameters necessary to represent the approximating DNNs grows at most polynomially in the reciprocal $1/\varepsilon$ of the approximation accuracy $\varepsilon>0$ and in the input dimension $d\in \mathbb{N} =\{1,2,3,\dots\}$. To this end, we introduce certain approximation spaces, consisting of sequences of functions that can be efficiently approximated by DNNs. We then establish closure properties which we combine with known and new bounds on the number of parameters necessary to approximate locally Lipschitz continuous functions, maximum functions, and product functions by DNNs. The main result of this article demonstrates that DNNs have sufficient expressiveness to approximate certain sequences of functions which can be constructed by means of a finite number of compositions using locally Lipschitz continuous functions, maxima, and products without the curse of dimensionality.

研究の動機と目的

• 高次元関数を近似する深層ニューラルネットワーク（DNNs）の表現力の理論的枠組みを構築すること。
• DNNsが入力次元と逆精度に多項式的増加するパラメータ数で高次元関数を近似可能であり、次元の呪いを回避できるかどうかを調査すること。
• 局所リプシッツ連続関数、最大値、積の合成に関して、近似空間の閉包性を確立すること。
• DNNsが基本的な演算および正則関数の有限合成によって構築された関数を、指数的増加のパラメータを伴わずに効率的に近似できることを証明すること。

提案手法

• DNNsによって効率的に近似可能な関数列からなる近似空間を導入する。
• 局所リプシッツ連続性、最大関数、積関数といった主要な演算を、DNN近似フレームワーク内で定義し分析する。
• 線形補間とパラメータ効率の良いDNN構成を用いて、局所リプシッツ連続関数を多項式的パラメータ増加で近似する。
• 活性化関数とネットワークアーキテクチャを活用し、最大値と積の明示的DNN表現を構築する。
• ネットワークの並列化と合成則を用いて、局所リプシッツ連続関数、最大値、積の合成に関して、近似空間の閉包性を証明する。
• ネットワーククリッピングと行列射影操作（例：$\mathbf{A}_{P_d,0}$を介して）を活用し、出力次元と近似精度の制御を保証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、次元と逆精度に多項式的増加するパラメータ数で高次元関数を近似可能か？
• RQ2 DNNsは、局所リプシッツ連続関数、最大値、積の合成を近似する際、多項式的トラクタビリティを維持するか？
• RQ3 DNNsのどのような構造的性質が、関数近似における次元の呪いを回避できるか？
• RQ4 合成に関する近似空間の閉包性が、DNNsの表現力に与える影響は何か？
• RQ5 最大値と積の明示的DNN構成は、より大きなネットワークに統合可能であり、多項式的パラメータ増加を維持できるか？

主な発見

• DNNsは、入力次元$d$と逆精度$\varepsilon^{-1}$に多項式的増加するパラメータ数を有することで、次元の呪いに見舞われることなく、広範な高次元関数のクラスを近似可能である。
• コンパクト集合上で精度$\varepsilon$で関数を近似するために必要なパラメータ数は、ある定数$c \in \mathbb{R}$を用いて$\mathcal{P}(\mathscr{F}_{d,\varepsilon}) \leq c d^c \varepsilon^{-c}$で有界であり、多項式的トラクタビリティを示している。
• 近似空間は、局所リプシッツ連続関数、最大関数、積関数との合成に関して閉じており、複雑な関数の階層的構築を可能としている。
• 最大値と積の明示的DNN表現は、制御されたパラメータ数で構築されており、これらの演算が指数的複雑性を導入しないことを保証している。
• 局所リプシッツ連続関数、最大値、積を近似するDNNの合成により、その実現関数は$[-r,r]^d$上で誤差$\leq \varepsilon$で目標関数を近似する。
• 射影行列$P_d$とネットワーククリッピング操作の使用により、最終的なDNN出力が期待されるスカラー出力関数$p_d(x) = x_d$と有界な誤差で一致することが保証されている。