[论文解读] Deep Network Approximation: Achieving Arbitrary Accuracy with Fixed Number of Neurons

Zuowei Shen, Haizhao Yang+1 more|arXiv (Cornell University)|Jul 6, 2021

Neural Networks and Applications参考文献 43被引用 15

一句话总结

该论文提出了一种新颖、简单且可计算的激活函数——结合周期性三角波与软正切函数——使得宽度固定、有限（36d(2d+1)）且深度固定（11）的前馈神经网络能够对 d 维超立方体上的任意连续函数实现通用逼近。关键贡献在于证明：通过调节参数，此类网络可实现任意小误差范围内的任意连续函数逼近，从而确立了具备通用逼近能力的固定规模网络。

ABSTRACT

This paper develops simple feed-forward neural networks that achieve the universal approximation property for all continuous functions with a fixed finite number of neurons. These neural networks are simple because they are designed with a simple, computable, and continuous activation function $σ$ leveraging a triangular-wave function and the softsign function. We first prove that $σ$-activated networks with width $36d(2d+1)$ and depth $11$ can approximate any continuous function on a $d$-dimensional hypercube within an arbitrarily small error. Hence, for supervised learning and its related regression problems, the hypothesis space generated by these networks with a size not smaller than $36d(2d+1) imes 11$ is dense in the continuous function space $C([a,b]^d)$ and therefore dense in the Lebesgue spaces $L^p([a,b]^d)$ for $p\in [1,\infty)$. Furthermore, we show that classification functions arising from image and signal classification are in the hypothesis space generated by $σ$-activated networks with width $36d(2d+1)$ and depth $12$ when there exist pairwise disjoint bounded closed subsets of $\mathbb{R}^d$ such that the samples of the same class are located in the same subset. Finally, we use numerical experimentation to show that replacing the rectified linear unit (ReLU) activation function by ours would improve the experiment results.

研究动机与目标

• 开发一种简单、可计算的激活函数，使固定规模的神经网络具备通用逼近能力。
• 证明宽度为 36d(2d+1)、深度为 11 的深度前馈网络可对 [a,b]^d 上的任意连续函数在任意误差范围内实现逼近。
• 展示此类网络可通过增加一层隐藏层，精确表示分类函数。
• 为该激活函数在回归与分类任务中逼近能力提供理论依据。

提出的方法

• 激活函数 σ 构造为分段函数：σ₁(x) = |x| 在 [-1,1] 上定义，并以周期 2 周期性延拓；σ₂(x) = x/(|x|+1) 对于 x < 0，形成兼具周期性与高非线性的混合函数。
• 网络使用 11 个非线性层的复合结构，其仿射变换通过 O(d²) 个非零参数进行参数化。
• 证明利用三角波分量的周期性与软正切函数的非线性，可模拟阶跃函数并逼近任意连续函数。
• 采用数学归纳法证明输出集合 {τ(wa₁), ..., τ(wa_J)} 在 [0,1]^J 中稠密，从而实现通用逼近。
• 构造确保：对任意 ε > 0，存在一个固定规模的网络，通过调节参数，可使任意 f ∈ C([a,b]^d) 的逼近误差小于 ε。
• 通过增加一个宽度为 2 的隐藏层，可精确实现形式为 ∑ r_j · 1_{E_j} 的分类函数，其中 E_j 为互不相交的有界闭集，且 r_j 为互异的有理数。

实验结果

研究问题

• RQ1 具有简单、可计算激活函数的固定规模深度神经网络能否在 d 维超立方体上实现对连续函数的通用逼近？
• RQ2 所提出的激活函数（结合周期性与非线性分量）是否仅通过参数调节即可逼近任意连续函数？
• RQ3 此类网络能否精确表示定义在 ℝ^d 中互不相交有界闭子集上的分类函数？
• RQ4 使用该激活函数实现通用逼近所需的最小网络宽度与深度是多少？
• RQ5 在实际学习任务中，该激活函数与标准 ReLU 的数值表现相比如何？

主要发现

• 使用所提出激活函数 σ 的深度神经网络，其宽度为 36d(2d+1)，深度为 11，通过调节参数，可对 [a,b]^d 上的任意连续函数实现任意小误差 ε 的逼近。
• 宽度为 36d(2d+1)、深度为 11 的 σ-激活网络的假设空间在 C([a,b]^d) 中稠密，因此在 L^p([a,b]^d)（p ∈ [1, ∞)）中也稠密。
• 通过增加一个宽度为 2 的隐藏层，网络可精确表示任意分类函数 ∑_{j=1}^J r_j · 1_{E_j}，其中 J ∈ ℕ⁺，r_j 为互异的有理数，且 E_j ⊆ ℝ^d 为两两不相交的有界闭集。
• 该网络架构最多需要 5437(d+1)(2d+1) 个非零参数，且参数规模与目标函数或所需精度 ε 无关。
• 数值实验表明，将 ReLU 替换为所提出的激活函数可提升实际学习任务中的性能。
• 激活函数 σ 被证明为初等通用激活函数（EUAF），该网络被称为 EUAF 网络，从而建立了一类新型固定规模通用逼近器。