[论文解读] Deep neural network approximation theory for high-dimensional functions

Pierfrancesco Beneventano, Patrick Cheridito+3 more|arXiv (Cornell University)|Dec 29, 2021

Neural Networks and Applications被引用 4

一句话总结

该论文证明了深度神经网络（DNNs）可以近似一大类高维函数，且不会遭受维数灾难的影响。通过引入近似空间并证明局部Lipschitz函数、最大值和乘积复合下的封闭性，作者表明DNNs的参数数量仅需相对于输入维度和逆精度呈多项式增长，从而能够高效近似复杂且高维的函数。

ABSTRACT

The purpose of this article is to develop machinery to study the capacity of deep neural networks (DNNs) to approximate high-dimensional functions. In particular, we show that DNNs have the expressive power to overcome the curse of dimensionality in the approximation of a large class of functions. More precisely, we prove that these functions can be approximated by DNNs on compact sets such that the number of parameters necessary to represent the approximating DNNs grows at most polynomially in the reciprocal $1/\varepsilon$ of the approximation accuracy $\varepsilon>0$ and in the input dimension $d\in \mathbb{N} =\{1,2,3,\dots\}$. To this end, we introduce certain approximation spaces, consisting of sequences of functions that can be efficiently approximated by DNNs. We then establish closure properties which we combine with known and new bounds on the number of parameters necessary to approximate locally Lipschitz continuous functions, maximum functions, and product functions by DNNs. The main result of this article demonstrates that DNNs have sufficient expressiveness to approximate certain sequences of functions which can be constructed by means of a finite number of compositions using locally Lipschitz continuous functions, maxima, and products without the curse of dimensionality.

研究动机与目标

• 开发一个理论框架，用于分析深度神经网络（DNNs）在近似高维函数时的表达能力。
• 研究DNNs是否能以维度和逆精度的多项式增长的参数数量，近似高维函数，从而避免维数灾难。
• 建立近似空间在与局部Lipschitz函数、最大值和乘积复合下的封闭性。
• 证明DNNs可以高效近似通过有限次基本运算和正则函数复合构造的函数，且无需指数级增长的参数数量。

提出的方法

• 引入由可被DNN高效近似的函数序列构成的近似空间。
• 在DNN近似框架内定义并分析关键运算——局部Lipschitz连续性、最大值函数和乘积函数。
• 使用线性插值和参数高效的DNN构造，以多项式参数增长近似局部Lipschitz连续函数。
• 通过激活函数和网络架构，显式构造最大值和乘积的DNN表示，同时保持近似效率。
• 利用网络并行化和组合规则，证明近似空间在与局部Lipschitz函数、最大值和乘积复合下的封闭性。
• 利用网络剪枝和矩阵投影操作（例如，通过 $\mathbf{A}_{P_d,0}$）确保输出维度和近似精度的控制。

实验结果

研究问题

• RQ1 深度神经网络能否以维度和逆精度的多项式增长的参数数量，近似高维函数？
• RQ2 当近似局部Lipschitz函数、最大值和乘积的复合函数时，DNNs是否仍保持多项式可 tractability？
• RQ3 DNNs 的哪些结构特性使其在函数近似中避免了维数灾难？
• RQ4 近似空间在复合下封闭性的性质如何影响DNNs的表达能力？
• RQ5 最大值和乘积的显式DNN构造能否在保持多项式参数增长的前提下，集成到更大网络中？

主要发现

• DNNs 可以在不遭受维数灾难的情况下近似一大类高维函数，其参数数量在输入维度 $d$ 和逆精度 $\varepsilon^{-1}$ 上至多呈多项式增长。
• 在紧集上以精度 $\varepsilon$ 近似函数所需的参数数量受 $\mathcal{P}(\mathscr{F}_{d,\varepsilon}) \leq c d^c \varepsilon^{-c}$ 限制，其中 $c \in \mathbb{R}$ 为某常数，表明具有多项式可 tractability。
• 近似空间在与局部Lipschitz连续函数、最大值函数和乘积函数复合下是封闭的，从而支持复杂函数的分层构造。
• 最大值和乘积的显式DNN表示以受控的参数数量构建，确保这些运算不会引入指数级复杂度。
• 近似局部Lipschitz函数、最大值和乘积的DNN的复合，生成一个DNN，其实现结果在 $[-r,r]^d$ 上对目标函数的误差 $\leq \varepsilon$。
• 通过使用投影矩阵 $P_d$ 和网络剪枝操作，确保最终DNN的输出与期望的标量输出函数 $p_d(x) = x_d$ 以有界误差匹配。