[论文解读] How Powerful are Shallow Neural Networks with Bandlimited Random Weights?

Ming Li, Sho Sonoda+3 more|arXiv (Cornell University)|Aug 19, 2020

Machine Learning and ELM参考文献 60被引用 8

一句话总结

本文研究了具有带限随机权重的浅层神经网络的表达能力，表明当隐藏参数被限制在有界域内时，此类网络可能无法实现零近似误差。通过小波脊分析（ridgelet analysis），作者推导出近似误差的非平凡下界，证明并非所有随机权重分布都能实现通用近似——只有特定的、与复杂度相关的分布才有效。

ABSTRACT

We investigate the expressive power of depth-2 bandlimited random neural networks. A random net is a neural network where the hidden layer parameters are frozen with random assignment, and only the output layer parameters are trained by loss minimization. Using random weights for a hidden layer is an effective method to avoid non-convex optimization in standard gradient descent learning. It has also been adopted in recent deep learning theories. Despite the well-known fact that a neural network is a universal approximator, in this study, we mathematically show that when hidden parameters are distributed in a bounded domain, the network may not achieve zero approximation error. In particular, we derive a new nontrivial approximation error lower bound. The proof utilizes the technique of ridgelet analysis, a harmonic analysis method designed for neural networks. This method is inspired by fundamental principles in classical signal processing, specifically the idea that signals with limited bandwidth may not always be able to perfectly recreate the original signal. We corroborate our theoretical results with various simulation studies, and generally, two main take-home messages are offered: (i) Not any distribution for selecting random weights is feasible to build a universal approximator; (ii) A suitable assignment of random weights exists but to some degree is associated with the complexity of the target function.

研究动机与目标

• 研究当隐藏层参数随机初始化并固定时，浅层神经网络的表达能力。
• 确定在有界参数约束下，此类随机权重网络是否能对任意函数实现通用近似。
• 识别在避免非凸训练的情况下，随机权重网络实现零近似误差的条件。
• 利用专为神经网络设计的调和分析技术，建立近似误差的理论下界。
• 通过在人工数据集和真实世界数据集上的模拟，验证理论发现。

提出的方法

• 将浅层神经网络形式化为 $ g_d(x) = \sum_{j=1}^d c_j \sigma(a_j \cdot x - b_j) $，其中随机 $ (a_j, b_j) $ 从有界分布 $ Q $ 中抽取，定义于 $ V = \{ |a| \leq \lambda, |b| \leq \lambda \} $。
• 应用小波脊分析——一种专为神经网络设计的类似傅里叶的调和分析方法——研究带限随机网络的近似性质。
• 推导出 $ L^2 $-范数近似误差的下界 $ \|f - g_d\|_{L^2(K)}^2 \geq \|S^* [f]\|_{L^2(V^c)}^2 $，其中 $ V^c $ 为参数域的补集。
• 利用目标函数 $ f $ 的索伯列夫范数与 $ L^1 $-范数，结合激活函数的性质，以 $ \lambda $、$ m $ 和 $ s $ 表示误差边界的量化。
• 将基于核的随机特征映射作为一般随机训练方法的特例，与现有的随机特征理论建立联系。
• 通过在 1D/2D 人工函数和五个真实世界回归数据集上进行模拟，使用不同的 $ \lambda $ 和固定的 $ L = 10,000 $，验证理论结果。

实验结果

研究问题

• RQ1 具有带限随机权重的浅层神经网络能否对任意 $ L^2 $-索伯列夫函数实现通用近似？
• RQ2 当隐藏参数被限制在有界域内时，可实现的最小近似误差是多少？
• RQ3 随机权重分布的选择如何影响网络近似复杂目标函数的能力？
• RQ4 是否存在一个临界阈值 $ \lambda^* $，超过该值后近似误差显著下降？其与函数复杂度的关系如何？
• RQ5 该理论下界是否可在多样化的合成与真实世界回归任务中得到经验验证？

主要发现

• 当隐藏参数被限制在有界域 $ |a| \leq \lambda, |b| \leq \lambda $ 时，即使隐藏单元数量无限，网络也可能无法实现零近似误差。
• 近似误差由 $ \|S^* [f]\|_{L^2(V^c)}^2 $ 下界控制，其依赖于目标函数的索伯列夫范数与激活函数的 $ L^\infty $-范数。
• 当 $ \lambda \in (0, \vartheta) $ 时，误差边界按 $ \|f\|_{L^1(K)}^2 \|\sigma\|_{L^\infty}^2 \lambda^m $ 缩放，表明小 $ \lambda $ 时近似性能差。
• 当 $ \lambda \geq \vartheta $ 时，误差按 $ \|f\|_{H^s(\Omega)}^2 C_{\sigma,s}^2 \lambda^{-2s} $ 衰减，表明随着 $ \lambda $ 增大，近似性能提升。
• 在 1D 和 2D 人工函数上的模拟显示，当 $ \lambda $ 较小时（如 $ \lambda \leq 1 $）近似误差趋于平坦，但当 $ \lambda \geq 5 $ 时显著下降，验证了理论临界阈值的存在。
• 在五个真实世界回归数据集上，当 $ \lambda \geq 10 $ 时训练误差降至 $ \sim 10^{-14} $，但当 $ \lambda = 0.1 $ 时仍保持较高水平（如 ~0.065），验证了并非所有随机权重分布都有效。