[论文解读] Quantified advantage of discontinuous weight selection in approximations with deep neural networks

Dmitry Yarotsky|arXiv (Cornell University)|May 3, 2017

Neural Networks and Applications参考文献 4被引用 8

一句话总结

本文证明，对于一维利普希茨函数，使用不连续权重选择的深度ReLU网络相比连续权重选择，能实现显著更高的逼近精度。通过构建一个宽度为5、深度为N的网络，利用自适应缓存子网络，作者证明了误差界为$ O(1/(N\ln N)) $，显示出相较于连续情况$ O(1/N) $极限的对数优势。

ABSTRACT

We consider approximations of 1D Lipschitz functions by deep ReLU networks of a fixed width. We prove that without the assumption of continuous weight selection the uniform approximation error is lower than with this assumption at least by a factor logarithmic in the size of the network.

研究动机与目标

• 量化在深度ReLU网络中允许不连续权重选择相较于连续选择所获得的逼近优势。
• 分析使用固定宽度、可变深度的前馈深度网络对一维利普希茨函数的均匀逼近误差。
• 构建一种特定的网络架构，实现在不依赖连续参数依赖性的情况下提升逼近速率。
• 建立在允许不连续权重选择时误差改进的理论下界。

提出的方法

• 通过使用缓存函数和分段线性组件构建自适应网络逼近，以实现高精度。
• 将自适应网络以简化方式嵌入标准深度架构中，宽度为5、深度为N，使用ReLU激活函数和线性单元。
• 为不同函数分量使用并行子网络，每个子网络在标准架构的多层中实现。
• 通过调整偏置项使ReLU单元实现恒等和线性模式，使其工作在线性区域，从而实现高效的信号路由。
• 优化层数和子网络数量，以在逼近误差和网络深度之间取得平衡，使用$ T = \lfloor N/8 \rfloor $ 和 $ m = \lfloor \frac{1}{2} \log_3 N \rfloor $。
• 证明所构建的网络在$ W^{1,\infty}([0,1]) $的单位球上一致满足$ \|f - \widetilde{f}\|_{\infty} \leq \frac{c}{N\ln N} $。

实验结果

研究问题

• RQ1 在深度ReLU网络中，对于一维利普希茨函数，允许不连续权重选择时，逼近误差的定量增益是多少？
• RQ2 具有固定宽度和可变深度的深度网络能否实现优于连续参数选择边界的逼近速率？
• RQ3 如何将自适应、不连续的权重选择嵌入标准深度网络架构中，而不损失表达能力？
• RQ4 在使用不连续权重选择时，网络深度与逼近误差之间的最优权衡是什么？
• RQ5 误差界中的对数因子是否代表了在深度学习范式下相对于连续选择的根本性改进？

主要发现

• 在宽度为5的深度ReLU网络中，使用不连续权重选择对一维利普希茨函数的逼近误差被限制在$ O(1/(N\ln N)) $，其中$ N $为网络深度。
• 该误差界严格优于连续权重选择的$ O(1/N) $下界，表明存在对数因子的改进。
• 该改进通过构建自适应、缓存的子网络实现，这些子网络被嵌入标准深度架构中，使用ReLU和线性单元。
• 该构造使用$ T = \lfloor N/8 \rfloor $ 和 $ m = \lfloor \frac{1}{2} \log_3 N \rfloor $ 来平衡深度与误差，确保总深度不超过$ N $。
• 该方法对$ W^{1,\infty}([0,1]) $单位球中所有$ f $实现一致逼近误差$ \|f - \widetilde{f}\|_{\infty} \leq \frac{c}{N\ln N} $，其中$ c $为绝对常数。
• 结果证实，即使对于简单的1D函数类，不连续权重选择也能实现可证明且可量化的逼近速率优势。