[论文解读] Deep Equals Shallow for ReLU Networks in Kernel Regimes

Alberto Bietti, Francis Bach|arXiv (Cornell University)|Sep 30, 2020

Stochastic Gradient Optimization Techniques参考文献 59被引用 9

一句话总结

该论文表明，在核范式下——特别是神经正切核（NTK）范式下——深度对ReLU网络的近似能力并无优势，与浅层两层网络相比并无改进。关键结果是，与深层ReLU核相关的积分算子的特征值衰减与浅层ReLU核完全相同，这意味着核框架无法解释此类架构中深度带来的优势。这揭示了基于核的分析在理解深层网络表达能力方面的根本局限性。

ABSTRACT

Deep networks are often considered to be more expressive than shallow ones in terms of approximation. Indeed, certain functions can be approximated by deep networks provably more efficiently than by shallow ones, however, no tractable algorithms are known for learning such deep models. Separately, a recent line of work has shown that deep networks trained with gradient descent may behave like (tractable) kernel methods in a certain over-parameterized regime, where the kernel is determined by the architecture and initialization, and this paper focuses on approximation for such kernels. We show that for ReLU activations, the kernels derived from deep fully-connected networks have essentially the same approximation properties as their shallow two-layer counterpart, namely the same eigenvalue decay for the corresponding integral operator. This highlights the limitations of the kernel framework for understanding the benefits of such deep architectures. Our main theoretical result relies on characterizing such eigenvalue decays through differentiability properties of the kernel function, which also easily applies to the study of other kernels defined on the sphere.

研究动机与目标

• 研究在核范式下，深度是否能提升ReLU网络的近似性质。
• 分析由深层核方法（特别是神经正切核，NTK）诱导的积分算子的谱性质。
• 确定深层与浅层ReLU网络的核算子特征值衰减是否存在差异。
• 阐明基于核的框架在捕捉深层架构表征能力方面的局限性。
• 基于核函数的可微性特性，提供特征值衰减的理论刻画。

提出的方法

• 通过核函数在输入对齐时（即输入相等或反向时）的可微性，刻画核诱导积分算子的特征值衰减。
• 利用球谐函数对单位球面上的积分算子进行对角化，从而实现对再生核希尔伯特空间（RKHS）的谱分析。
• 通过核函数复合的归纳法，证明ReLU激活在任意深度下均保持相同的特征值衰减行为。
• 分析核函数在±1附近的渐近行为，推导出特征值的衰减速率。
• 将该框架应用于NTK和随机特征（RF）核，证明深层与浅层网络的衰减速率完全相同。
• 利用复分析延拓和泰勒系数渐近分析，严格推导出深层ReLU网络的特征值衰减。

实验结果

研究问题

• RQ1 在核范式下，深度是否能提升ReLU网络的近似能力？
• RQ2 深层ReLU核诱导的积分算子的特征值衰减是否与浅层ReLU核不同？
• RQ3 能否通过核函数在输入对齐时的可微性，刻画深层核方法的谱性质？
• RQ4 核框架在多大程度上能捕捉全连接ReLU网络中深度带来的优势？
• RQ5 在ReLU网络中，NTK与RF核在不同深度下的特征值衰减如何比较？

主要发现

• 对于处于核范式下的ReLU网络，深层与浅层架构的积分算子特征值衰减完全相同，衰减速率为 k^{-d-2}，其中 d 为输入维度。
• 衰减速率由核函数在输入对齐时的可微性决定；对于ReLU，该衰减速率恒为 k^{-d-2}，与深度无关。
• 对于NTK，k^{-d-2}衰减前的常数随深度 ℓ 线性增长，但若按 ℓ 归一化，则该常数保持有界。
• 对于使用阶跃激活的深层ReLU网络，衰减速率为 k^{-d-2 u_L+1}，其中 ν_L = 1/2^{L-1}，其衰减慢于ReLU，但仍通过 ν_L 依赖于深度。
• 该结果表明，基于核的模型无法解释ReLU网络中深度带来的表达能力提升，因为深度并未改变核的谱性质。
• 该理论框架可广泛适用于球面上的点积核，并提供一种基于核函数局部行为分析特征值衰减的一般方法。