[论文解读] The universal approximation power of finite-width deep ReLU networks

Dmytro Perekrestenko, Philipp Grohs+2 more|arXiv (Cornell University)|Jun 5, 2018

Sparse and Compressive Sensing Techniques参考文献 11被引用 15

一句话总结

该论文表明，有限宽度的深度 ReLU 网络通过利用深度实现反误差的多对数深度缩放，能够对多种函数类实现指数级逼近误差衰减——包括多项式、窗化正弦函数、振荡纹理以及处处不可微的 Weierstrass 函数。其关键贡献在于证明了对于光滑函数，有限宽度的深度网络所需的连接性严格小于有限深度的宽网络，从而确立了深度在逼近效率上的根本优势。

ABSTRACT

We show that finite-width deep ReLU neural networks yield rate-distortion optimal approximation (Bölcskei et al., 2018) of polynomials, windowed sinusoidal functions, one-dimensional oscillatory textures, and the Weierstrass function, a fractal function which is continuous but nowhere differentiable. Together with their recently established universal approximation property of affine function systems (Bölcskei et al., 2018), this shows that deep neural networks approximate vastly different signal structures generated by the affine group, the Weyl-Heisenberg group, or through warping, and even certain fractals, all with approximation error decaying exponentially in the number of neurons. We also prove that in the approximation of sufficiently smooth functions finite-width deep networks require strictly smaller connectivity than finite-depth wide networks.

研究动机与目标

• 探究深度 ReLU 网络的通用逼近性质是否可超越仿射函数类。
• 确定有限宽度的深度网络能否对非仿射、复杂的信号结构（如多项式和分形）实现率-失真最优逼近。
• 通过比较连接性需求，形式化深度相较于宽度在逼近光滑和振荡函数方面的优势。
• 确立有限宽度与反误差的多对数深度缩放相结合时，可实现指数误差衰减。
• 证明有限宽度深度网络在逼近光滑函数方面，其连接性优于有限深度宽网络。

提出的方法

• 通过锯齿函数及其迭代复合构造 ReLU 网络，以逼近乘法和多项式函数。
• 应用递归网络架构，以有界权重和 O(log(1/ϵ)) 的深度缩放逼近 x²。
• 通过复合与线性组合技术，将多项式逼近扩展至多变量和高阶多项式。
• 利用窗化正弦函数对余弦函数的逼近，以建模振荡纹理和分形函数。
• 采用 Yarotsky 的构造方法并加以修改，以保持网络宽度与多项式阶次无关。
• 证明逼近 Weierstrass 函数的网络可实现指数误差衰减，且深度缩放为 O((log(1/ϵ))³)。

实验结果

研究问题

• RQ1 有限宽度深度 ReLU 网络能否对非仿射函数类（如多项式和分形）实现指数逼近误差衰减？
• RQ2 在逼近光滑和振荡函数时，深度是否在连接性方面相对于宽度具有根本优势？
• RQ3 能否通过有限宽度深度网络实现窗化正弦函数和振荡纹理的逼近，并实现指数误差衰减？
• RQ4 Weierstrass 函数（一个处处不可微的分形）能否通过有限宽度深度 ReLU 网络以指数精度逼近？
• RQ5 在逼近光滑函数时，有限宽度深度网络所需的最小连接性与有限深度宽网络相比如何？

主要发现

• 有限宽度深度 ReLU 网络对多项式实现指数逼近误差衰减，深度缩放为 O(log(1/ϵ))，且权重与多项式阶次无关。
• 通过利用余弦函数的逼近，有限宽度深度网络对窗化正弦函数和振荡纹理的逼近实现了指数误差衰减。
• Weierstrass 函数（一个连续但处处不可微的分形）可由深度 ReLU 网络以指数精度逼近，深度缩放为 O((log(1/ϵ))³)。
• 对于 Weierstrass 函数 Wp,a(x)，网络满足 ∥ΨWp,a,D,ϵ − Wp,a∥L∞[−D,D] ≤ ϵ，其中深度 L ≤ C1(log(1/ϵ))³ + C2(log(1/ϵ))² log(⌈a⌉) + C3 log(1/ϵ) log(D)，且权重有界于 C4。
• 对于 C³ 函数的逼近，有限宽度深度网络所需的连接性严格小于有限深度宽网络，如由下界 ∥f − Φ∥L∞[a,b] ≥ ϵ 所示，其中 M = π(log(1/ϵ)) 且 L 固定。
• 通过深度 ReLU 网络逼近局部余弦基函数可实现指数误差衰减，证实该方法适用于调和分析结构。