[论文解读] Sharp Representation Theorems for ReLU Networks with Precise Dependence on Depth

Guy Bresler, Nagaraj, Dheeraj|arXiv (Cornell University)|Jun 7, 2020

Stochastic Gradient Optimization Techniques参考文献 26被引用 6

一句话总结

本文通过刻画深度在逼近具有日益不规则傅里叶衰减函数中的精确作用，建立了ReLU网络的紧致、与维度无关的表示界限。它证明了D层网络在类$\mathcal{G}_D$中的函数上可实现$N^{-1}$阶的最优逼近率，而层数更少的网络（$D'<D$）则严格更差，其逼近率为$N^{-D'/D}$，从而证实深度可使参数更少的网络表示更不光滑的函数。

ABSTRACT

We prove sharp dimension-free representation results for neural networks with $D$ ReLU layers under square loss for a class of functions $\mathcal{G}_D$ defined in the paper. These results capture the precise benefits of depth in the following sense: 1. The rates for representing the class of functions $\mathcal{G}_D$ via $D$ ReLU layers is sharp up to constants, as shown by matching lower bounds. 2. For each $D$, $\mathcal{G}_{D} \subseteq \mathcal{G}_{D+1}$ and as $D$ grows the class of functions $\mathcal{G}_{D}$ contains progressively less smooth functions. 3. If $D^{\prime} &lt; D$, then the approximation rate for the class $\mathcal{G}_D$ achieved by depth $D^{\prime}$ networks is strictly worse than that achieved by depth $D$ networks. This constitutes a fine-grained characterization of the representation power of feedforward networks of arbitrary depth $D$ and number of neurons $N$, in contrast to existing representation results which either require $D$ growing quickly with $N$ or assume that the function being represented is highly smooth. In the latter case similar rates can be obtained with a single nonlinear layer. Our results confirm the prevailing hypothesis that deeper networks are better at representing less smooth functions, and indeed, the main technical novelty is to fully exploit the fact that deep networks can produce highly oscillatory functions with few activation functions.

研究动机与目标

• 为任意深度$D$和宽度$N$的深层ReLU网络的表示能力提供细粒度的表征。
• 解决关于深度是否在表示比浅层网络更不光滑的函数方面提供根本优势的开放问题。
• 建立在输入维度上独立的、紧致的逼近率，这些率在常数因子内是最优的。
• 证明更深的网络可以表示更广泛的函数类——特别是那些傅里叶变换尾部更厚的函数——相较于具有相同参数数量的浅层网络。

提出的方法

• 作者基于傅里叶变换的衰减速率定义了函数类$\mathcal{G}_D$，其中$D$的增加允许表示更不光滑的函数。
• 他们通过构造利用组合结构生成高度振荡函数的深层ReLU网络，证明了上界，从而以较少参数实现高效逼近。
• 对于下界，他们使用交叉数$\mathsf{Cr}(\hat{f})$的概念来量化网络输出可跨越阈值的次数，并将其与逼近误差关联。
• 他们应用一个下界论证，使用测试函数$f(x) = \frac{1 + \cos(\omega x / r)}{2\omega^\alpha}$，其中$\omega = 2\pi L$，表明浅层网络无法高效捕捉高频振荡。
• 该证明利用了$D$层ReLU网络最多可产生$2(2N_0/D)^D$次交叉的事实，从而限制其逼近高频函数的能力。
• 通过选择$\alpha = 1/(2K)$，他们推导出与上界在常数因子内匹配的下界，形式为$\left(\frac{D}{N_0}\right)^{D/K}$。

实验结果

研究问题

• RQ1 深层ReLU网络能否在逼近非高度光滑的函数时，实现优于浅层网络的逼近率？
• RQ2 ReLU网络的逼近误差对深度$D$和宽度$N$的精确依赖关系是什么？
• RQ3 是否存在一个函数类$\mathcal{G}_D$，使得$D$层网络能以$N^{-1}$的速率表示它，而$D'<D$层网络则严格更差？
• RQ4 即使宽度固定，深层网络的表示能力是否严格随深度增加？
• RQ5 深度的优势能否通过一个紧致的、与维度无关的表征来捕捉，而无需要求$D$随$N$增长？

主要发现

• 对于$\mathcal{G}_D$中的函数，具有$N$个神经元的$D$层ReLU网络在平方损失下可实现$N^{-1}$阶的逼近误差，且该速率在常数因子内是最优的。
• 对于任意$D' < D$，$D'$层网络在$\mathcal{G}_D$中函数上的逼近率严格更差，其缩放为$N^{-D'/D}$。
• $\mathcal{G}_D$类随$D$增大而扩展，允许表示更不规则的函数——特别是傅里叶变换衰减更慢的函数——随着深度的增加。
• 下界构造使用了频率为$\omega = 2\pi L$的余弦函数，其中$L$基于网络的交叉数选择，以强制深度与宽度之间的权衡。
• 下界通过在输出不跨越阈值$1/2$的区间上进行计数论证推导，表明高频振荡无法被浅层网络高效捕捉。
• 结果证实，更深的网络在表示更不光滑的函数方面具有根本优势，其优势通过速率中的指数$D'/D$精确量化。