[论文解读] Eigenspace Restructuring: a Principle of Space and Frequency in Neural Networks

Lechao Xiao|arXiv (Cornell University)|Dec 10, 2021

Neural Networks and Applications被引用 4

一句话总结

本文提出了特征空间重构（Eigenspace Restructuring）原则，通过勒让德多项式与球谐函数，将深度神经网络中的空间结构与频率结构联系起来。该研究证明，神经正切核（NTK）与神经网络通用过程（NNGP）的特征值衰减受一个与深度相关的指数 S(r) 控制，从而通过超收缩性与特征空间维数计数，实现对过参数化网络的精确泛化界。

ABSTRACT

Understanding the fundamental principles behind the massive success of neural networks is one of the most important open questions in deep learning. However, due to the highly complex nature of the problem, progress has been relatively slow. In this note, through the lens of infinite-width networks, a.k.a. neural kernels, we present one such principle resulting from hierarchical localities. It is well-known that the eigenstructure of infinite-width multilayer perceptrons (MLPs) depends solely on the concept frequency, which measures the order of interactions. We show that the topologies from deep convolutional networks (CNNs) restructure the associated eigenspaces into finer subspaces. In addition to frequency, the new structure also depends on the concept space, which measures the spatial distance among nonlinear interaction terms. The resulting fine-grained eigenstructure dramatically improves the network's learnability, empowering them to simultaneously model a much richer class of interactions, including Long-Range-Low-Frequency interactions, Short-Range-High-Frequency interactions, and various interpolations and extrapolations in-between. Additionally, model scaling can improve the resolutions of interpolations and extrapolations and, therefore, the network's learnability. Finally, we prove a sharp characterization of the generalization error for infinite-width CNNs of any depth in the high-dimensional setting. Two corollaries follow: (1) infinite-width deep CNNs can break the curse of dimensionality without losing their expressivity, and (2) scaling improves performance in both the finite and infinite data regimes.

研究动机与目标

• 通过调和分析，形式化建立深度神经网络中空间结构与频率结构之间的联系原则。
• 通过特征值分析，推导出过参数化网络中神经正切核（NTK）与 NNGP 的精确衰减速率。
• 通过分析特征空间维数与特征值分布，为宽而深的卷积神经网络建立泛化界。
• 通过一个与深度相关的指数 S(r)，统一不同网络架构下 NTK 与 NNGP 的行为。

提出的方法

• 使用勒让德多项式与球谐函数作为高维输入空间中激活函数与核函数分析的正交基。
• 应用加法定理，将核函数表示为球谐函数的展开，从而将输入几何结构与谱性质联系起来。
• 引入一个与深度相关的指数 S(r)，用于表征核函数与 NTK 系数在球谐基下的衰减速率。
• 通过网络深度的归纳法证明，核函数在零点的 r 阶导数按 d^(-S(r)) 缩放，其中 d 为宽度。
• 利用球谐函数的超收缩性，控制特征空间中函数的范数，从而支持泛化分析。
• 利用球谐函数的张量积结构，对多输入与多层网络行为进行建模，尤其适用于卷积架构。

实验结果

研究问题

• RQ1 深度网络中 NTK 与 NNGP 的谱特性如何依赖于网络的深度与宽度？
• RQ2 核系数在球谐基下的精确衰减速率是什么？其受网络结构如何影响？
• RQ3 如何通过控制特征空间维数与特征值分布，为过参数化网络推导出泛化界？
• RQ4 神经网络的深度与拓扑结构在多大程度上影响其 NTK 与 NNGP 的特征值衰减？
• RQ5 宽而深的网络的谱行为能否通过一个统一原则，将空间域与频率域联系起来？

主要发现

• NTK 与 NNGP 核函数可在球谐函数下展开，其系数按 d^(-S(r)) 衰减，其中 S(r) 取决于网络的深度与结构。
• 对于任意多层网络，核函数在零点的 r 阶导数满足 ∥∂_t^r K_G∥_∞ ≲ d^(-S(r))，其中 S(r) 由网络计算图的最小生成树决定。
• NTK 与 NNGP 的特征值按 d^(-r) 衰减，对应 r 次特征空间的维数按 d^r 增长，从而可对泛化误差实现精确控制。
• 通过验证 Mei 等人（2021）中的假设，推导出泛化界，利用超收缩性与维数计数证明核函数的有效秩在宽度上为多项式增长。
• 该方法证明，NTK 与 NNGP 的特征值在相同次数的特征空间中均匀衰减，衰减速率指数 S(r) 与包含相关节点的最小子树深度一致。
• 分析结果确认，宽而深网络的泛化误差由特征空间维数与特征值衰减的相互作用决定，后者由网络的深度与拓扑结构控制。