[论文解读] Depth-Width Tradeoffs in Approximating Natural Functions with Neural Networks

Itay Safran, Ohad Shamir|arXiv (Cornell University)|Oct 31, 2016

Advanced Numerical Analysis Techniques被引用 94

一句话总结

本文通过理论分析揭示了使用ReLU前馈网络近似自然函数时的深度-宽度权衡关系，表明深层网络在近似某些函数（如单位球和椭球的指示函数、L1-径向函数以及光滑非线性函数）时，其宽度需求可比浅层网络呈指数级降低。研究证明，3层网络可在维度和目标精度的多项式量级宽度下实现高精度近似，而2层网络即使使用标准反向传播训练，也需指数级宽度才能达到相同精度。

ABSTRACT

We provide several new depth-based separation results for feed-forward neural networks, proving that various types of simple and natural functions can be better approximated using deeper networks than shallower ones, even if the shallower networks are much larger. This includes indicators of balls and ellipses; non-linear functions which are radial with respect to the $L_1$ norm; and smooth non-linear functions. We also show that these gaps can be observed experimentally: Increasing the depth indeed allows better learning than increasing width, when training neural networks to learn an indicator of a unit ball.

研究动机与目标

• 建立基于深度的神经网络理论分离结果，使用自然且可解释的函数作为基准。
• 证明深层网络即使在浅层网络规模远大于自身时，也能以显著更低的宽度近似某些函数。
• 表明这些近似差距不仅是理论现象，也可在标准训练方法下实际观测到。
• 从L2近似误差角度分析ReLU网络的表达能力，重点关注与真实世界学习任务相关的函数。

提出的方法

• 基于Eldan & Shamir（2016）的归约方法，证明2层网络若宽度非指数级增长，则无法将单位球或椭球的指示函数近似到优于O(1/d⁴)的精度。
• 构造一个3层ReLU网络，通过O(d/ε)个神经元精确表示任意L1-径向、分段线性函数，实现ε-精度。
• 利用深度实现乘法运算的模拟，通过位提取与复合操作，高效近似由加法和乘法构成的函数。
• 推导出可通过t步加法与乘法运算计算的函数的L∞近似界，揭示其对深度和宽度在log(1/ε)与log(M)上的依赖关系。
• 结合基于深度的上界与基于宽度的下界，建立网络规模需求的指数级分离。
• 通过标准反向传播训练2层与3层网络以学习单位球指示函数，进行实证验证，确认理论预测。

实验结果

研究问题

• RQ1 深层ReLU网络能否以显著更低的宽度近似自然函数，相比浅层网络？
• RQ2 使用标准训练算法时，深层与浅层网络之间的近似差距是否可在实际中观测到？
• RQ3 2层ReLU网络为实现单位球指示函数的高精度近似，其最小宽度是多少？
• RQ4 具有组合结构（如和与积）的函数能否被深度网络以小宽度和小深度高效近似？
• RQ5 对于自然函数，浅层网络的近似误差如何随维度d和目标精度ε变化？

主要发现

• 在R^d中，单位球的指示函数无法被2层ReLU网络以优于O(1/d⁴)的精度近似，除非其宽度在d上呈指数增长。
• 对于任意椭球指示函数，2层网络同样面临指数宽度下限，而3层网络仅需O(d/ε)个神经元即可实现ε-精度。
• 任何L1-径向、分段线性函数f(x) = f(||x||₁)无法被宽度小于Õ(min{1/ε, exp(Ω(d))})的2层ReLU网络ε-近似。
• 像[0,1]上x²这样的光滑、二阶可微函数，在深层网络中需poly(log(1/ε))的深度与宽度，而常数深度网络除非宽度至少为poly(1/ε)，否则无法实现ε-精度近似。
• 实证训练表明，3层网络能通过标准反向传播有效学习单位球指示函数，而2层网络（即使宽度更大）则显著表现不佳。
• 理论分析确认，观察到的性能差距源于根本性的近似限制，而非优化困难。