[论文解读] Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks

Fanghui Liu, Leello Dadi+1 more|arXiv (Cornell University)|Apr 29, 2024

Neural Networks and Applications被引用 4

一句话总结

本文证明，通过利用路径范数（等价于Barron范数）约束的过参数化两层ReLU神经网络，可在不依赖网络宽度的情况下实现宽度无关的收敛性和度量熵界，其规模为$\mathcal{O}(\epsilon^{-2d/(d+2)})$，优于核方法的$\Omega(\epsilon^{-d})$量级。在一般矩假设下，本文推导出$\mathcal{O}(n^{-(d+2)/(2d+2)})$的一般化率界，展示了对维度敏感的、改进的样本效率。

ABSTRACT

Recent studies show that a reproducing kernel Hilbert space (RKHS) is not a suitable space to model functions by neural networks as the curse of dimensionality (CoD) cannot be evaded when trying to approximate even a single ReLU neuron (Bach, 2017). In this paper, we study a suitable function space for over-parameterized two-layer neural networks with bounded norms (e.g., the path norm, the Barron norm) in the perspective of sample complexity and generalization properties. First, we show that the path norm (as well as the Barron norm) is able to obtain width-independence sample complexity bounds, which allows for uniform convergence guarantees. Based on this result, we derive the improved result of metric entropy for $ε$-covering up to $O(ε^{-\frac{2d}{d+2}})$ ($d$ is the input dimension and the depending constant is at most linear order of $d$) via the convex hull technique, which demonstrates the separation with kernel methods with $Ω(ε^{-d})$ to learn the target function in a Barron space. Second, this metric entropy result allows for building a sharper generalization bound under a general moment hypothesis setting, achieving the rate at $O(n^{-\frac{d+2}{2d+2}})$. Our analysis is novel in that it offers a sharper and refined estimation for metric entropy with a linear dimension dependence and unbounded sampling in the estimation of the sample error and the output error.

研究动机与目标

• 识别适用于具有有界范数（如路径范数或Barron范数）的过参数化两层神经网络的合适函数空间，以克服再生核希尔伯特空间（RKHS）和核方法的局限性。
• 分析由范数约束的两层网络所诱导的函数类的度量熵，特别是基于路径范数，以量化其复杂性并揭示其与核方法的差异。
• 在一般矩假设下推导出紧致的一般化界，避免采用如次高斯性等限制性假设，并展示相对于输入维度$d$的改进样本复杂度量级。
• 证明路径范数可实现与网络宽度无关的一般化保证，避免核方法固有的维度灾难。

提出的方法

• 作者利用凸包技术分析了具有有界路径范数的两层ReLU网络所定义的函数类的度量熵，推导出$\mathcal{O}(\epsilon^{-2d/(d+2)})$的覆盖数界。
• 通过结合样本误差、输出误差和正则化误差分析，在一般矩假设下建立了一般化界，使用了集中不等式和高斯过程工具。
• 分析中利用了Bennett和Wu等人提出的集中不等式，以控制经验风险与真实风险之间的偏差，且显式地依赖于输入维度$d$。
• 将路径范数用作容量度量，函数类被表征为Barron空间的子集，从而实现对维度敏感的一般化界。
• 证明框架整合了通过Rademacher复杂度控制的输出误差和通过路径范数控制的正则化误差，对依赖于$d$的常数进行了精细控制。
• 通过利用路径范数和激活函数的结构，实现了对度量熵的改进估计，其对$d$的依赖关系比以往结果更紧密。

实验结果

研究问题

• RQ1 路径范数或Barron范数能否为两层神经网络提供一个避免核方法固有维度灾难的函数空间？
• RQ2 范数约束的两层ReLU网络所诱导的函数类的度量熵是多少？其随输入维度$d$的缩放关系如何？
• RQ3 能否在一般矩假设下（而非次高斯或有界噪声假设）推导出一般化界？其结果速率如何？
• RQ4 在高维设置下，范数约束的两层网络的样本复杂度与核方法相比如何？
• RQ5 一般化误差对输入维度$d$、样本大小$n$和范数约束$B$的依赖关系如何？

主要发现

• 由路径范数有界约束的两层ReLU网络所定义的函数类的度量熵被限制在$\mathcal{O}(\epsilon^{-2d/(d+2)})$，显著优于核方法的$\Omega(\epsilon^{-d})$量级。
• 在一般矩假设下，一般化误差达到$\mathcal{O}(n^{-(d+2)/(2d+2)})$的速率，快于核方法的$\Omega(n^{-1/d})$最小最大下界。
• 由于路径范数约束，样本复杂度与网络宽度无关，从而在不同网络宽度下均能实现一致收敛保证。
• 一般化界在一般矩条件下推导得出，避免了如次高斯性或有界性等限制性假设，且界显式依赖于输入维度$d$。
• 正则化误差通过路径范数控制，输出误差通过集中不等式有界，且常数对$d$呈多项式依赖。
• 界中的指数衰减项$\exp(-B/(4CM^2))$确保了在大范数约束$B$下快速收敛，表明对良好正则化模型具有强一般化能力。