[论文解读] Approximation power of random neural networks

Bolton Bailey, Ziwei Ji+2 more|arXiv (Cornell University)|Jun 18, 2019

Neural Networks and Applications参考文献 28被引用 8

一句话总结

本文为三类随机神经网络——具有任意权重分布的无限宽网络、子采样有限宽网络以及校正有限宽网络——建立了完全量化逼近率，证明了任意连续函数均可以复杂度 $\|f\|_1 (d/\delta)^{\mathcal{O}(d)}$ 的形式被逼近，其中 $\delta$ 反映函数的连续性，复杂度取决于权重大小或网络基数。

ABSTRACT

This paper investigates the approximation power of three types of random neural networks: (a) infinite width networks, with weights following an arbitrary distribution; (b) finite width networks obtained by subsampling the preceding infinite width networks; (c) finite width networks obtained by starting with standard Gaussian initialization, and then adding a vanishingly small correction to the weights. The primary result is a fully quantified bound on the rate of approximation of general general continuous functions: in all three cases, a function $f$ can be approximated with complexity $\|f\|_1 (d/δ)^{\mathcal{O}(d)}$, where $δ$ depends on continuity properties of $f$ and the complexity measure depends on the weight magnitudes and/or cardinalities. Along the way, a variety of ancillary results are developed: an exact construction of Gaussian densities with infinite width networks, an elementary stand-alone proof scheme for approximation via convolutions of radial basis functions, subsampling rates for infinite width networks, and depth separation for corrected networks.

研究动机与目标

• 理解在不同架构假设下随机神经网络的逼近能力。
• 量化一般连续函数被随机网络逼近的速率。
• 建立依赖于函数连续性（$\delta$）和权重特性的复杂度边界。
• 探索无限宽设置下深度分离与子采样效应。
• 为通过径向基函数卷积实现逼近提供自包含的证明框架。

提出的方法

• 分析具有任意权重分布的无限宽随机网络，以推导逼近边界。
• 对无限宽网络应用子采样，以构建具有可控逼近误差的有限宽架构。
• 引入对标准高斯初始化有限网络的微小修正，以实现更优的逼近能力。
• 采用基于卷积的逼近技术，以径向基函数作为基础工具。
• 基于 $\|f\|_1$、维度 $d$ 和连续性模 $\delta$ 推导复杂度边界，得出 $\mathcal{O}(d)$ 的指数。
• 作为技术引理，精确构造了利用无限宽网络表示高斯密度的方法。

实验结果

研究问题

• RQ1 对于具有任意权重分布的无限宽随机神经网络，连续函数的逼近速率是什么？
• RQ2 对无限宽网络进行子采样如何影响其逼近能力与复杂度？
• RQ3 对标准高斯初始化的有限宽网络施加微小修正，能否显著提升其逼近能力？
• RQ4 径向基函数卷积在建立随机网络一般逼近边界中起到什么作用？
• RQ5 校正后的有限宽网络中是否会出现深度分离现象？若出现，其条件是什么？

主要发现

• 任意连续函数 $f$ 的逼近误差被限制在 $\|f\|_1 (d/\delta)^{\mathcal{O}(d)}$ 以内，其中 $\delta$ 捕获了 $f$ 的连续性模。
• 具有任意权重分布的无限宽网络可精确表示高斯密度，为分析提供了关键的技术工具。
• 对无限宽网络进行子采样可保持其逼近能力，且推导出了保持精度的显式子采样率。
• 对标准高斯权重初始化的有限宽网络施加一个趋于零的微小修正，可实现强大的逼近性能，表明存在深度分离效应。
• 作为独立贡献，发展了一套自包含的、基于径向基函数卷积的逼近证明。
• 复杂度边界依赖于 $f$ 的 $L^1$ 范数，以及维度 $d$ 与连续性模 $\delta$ 之间的相互作用，其指数为 $\mathcal{O}(d)$。