[论文解读] Optimal Approximation Rates for Deep ReLU Neural Networks on Sobolev and Besov Spaces

Jonathan W. Siegel|arXiv (Cornell University)|Nov 25, 2022

Mathematical Approximation and Integration被引用 9

一句话总结

该论文在所有 $1 \leq p,q \leq \infty$ 和 $s > 0$ 的情况下，针对 Sobolev 空间和 Besov 空间在 $L_p$ 范数下建立了深度 ReLU 神经网络的最优逼近率，采用了一种新颖的位提取技术进行稀疏向量编码，并结合 VC-维方法推导 $L_p$ 下界。结果表明，极深网络能实现更优的逼近效率，但需要不可编码的参数。

ABSTRACT

Let $Ω= [0,1]^d$ be the unit cube in $\mathbb{R}^d$. We study the problem of how efficiently, in terms of the number of parameters, deep neural networks with the ReLU activation function can approximate functions in the Sobolev spaces $W^s(L_q(Ω))$ and Besov spaces $B^s_r(L_q(Ω))$, with error measured in the $L_p(Ω)$ norm. This problem is important when studying the application of neural networks in a variety of fields, including scientific computing and signal processing, and has previously been solved only when $p=q=\infty$. Our contribution is to provide a complete solution for all $1\leq p,q\leq \infty$ and $s > 0$ for which the corresponding Sobolev or Besov space compactly embeds into $L_p$. The key technical tool is a novel bit-extraction technique which gives an optimal encoding of sparse vectors. This enables us to obtain sharp upper bounds in the non-linear regime where $p > q$. We also provide a novel method for deriving $L_p$-approximation lower bounds based upon VC-dimension when $p < \infty$. Our results show that very deep ReLU networks significantly outperform classical methods of approximation in terms of the number of parameters, but that this comes at the cost of parameters which are not encodable.

研究动机与目标

• 确定深度 ReLU 神经网络在 Sobolev 和 Besov 空间中函数的 $L_p$-范数误差下的最优逼近率。
• 通过为所有 $1 \leq p,q \leq \infty$ 和 $s > 0$ 提供完整解法，解决一个长期悬而未决的开放问题，其中空间紧嵌入到 $L_p$ 中。
• 开发一种新颖的位提取技术，以在非线性区域（即 $p > q$）实现紧致的上界。
• 提出一种基于 VC-维的新方法，用于在 $p < \infty$ 时推导 $L_p$-逼近下界。
• 阐明深度网络中逼近效率与参数可编码性之间的权衡。

提出的方法

• 论文提出一种新颖的位提取技术，以最优方式编码稀疏向量，从而在非线性区域（$p > q$）实现逼近误差的紧致上界。
• 应用 Warren 定理（关于多项式符号模式数）来界定具有 $W$ 个神经元和 $L$ 层的深度 ReLU 网络可表示的函数数量。
• 采用基于 VC-维的方法推导 $p < \infty$ 时的 $L_p$-范数逼近下界，为分析网络容量提供新工具。
• 利用已知的延拓定理，将结果从单位立方体 $[0,1]^d$ 推广到其他足够规则的定义域。
• 通过 Besov、Sobolev 和 Lebesgue 空间之间的插值与嵌入结果，推导理论边界。
• 论文建立了逼近率的匹配上下界，证明了在所有参数配置下的最优性。

实验结果

研究问题

• RQ1 对于所有 $1 \leq p,q \leq \infty$ 和 $s > 0$，深度 ReLU 网络在 Sobolev 和 Besov 空间中函数的 $L_p$-范数下可实现的最优逼近率是什么？
• RQ2 在非线性区域（$p > q$）中，如何实现紧致的上界，特别是针对稀疏函数表示？
• RQ3 是否可以使用一种新颖的位提取技术高效编码稀疏向量，从而实现网络参数的最优利用？
• RQ4 当 $p < \infty$ 时，VC-维在推导深度网络 $L_p$-范数逼近下界中起什么作用？
• RQ5 极深 ReLU 网络在参数效率方面相较于经典逼近方法有多大优势？其代价是否体现在参数不可编码性上？

主要发现

• 该论文在所有 $1 \leq p,q \leq \infty$ 和 $s > 0$ 的条件下，针对紧嵌入到 $L_p$ 中的 Sobolev 和 Besov 空间，建立了深度 ReLU 网络的最优逼近率，解决了长期悬而未决的开放问题。
• 新颖的位提取技术使非线性区域（$p > q$）的上界更加紧致，实现了稀疏函数表示下的最优参数效率。
• 基于 VC-维的新方法提供了 $p < \infty$ 时的紧致 $L_p$-范数逼近下界，使上下界得以匹配。
• 极深 ReLU 网络在参数效率方面显著优于经典逼近方法，但其优势以参数不可在有限精度下编码为代价。
• 结果表明，深度网络的逼近能力本质上与其高效表示高度非线性、稀疏结构的能力密切相关。
• 分析证实，深度网络在所有考虑的函数类和范数下均实现了最优逼近率，且明确依赖于光滑性 $s$、可积性 $q$ 和目标范数 $p$。