[论文解读] Generalization Bounds for Neural Networks via Approximate Description Length

Amit Daniely, Elad Granot|arXiv (Cornell University)|Oct 13, 2019

Neural Networks and Applications被引用 5

一句话总结

该论文提出了一种新颖的近似描述长度（ADL）框架，用于推导具有权重范数约束的全连接神经网络的更紧致泛化界。通过分析使用线性和非线性操作的函数组合的描述长度，该研究建立了样本复杂度为 $\tilde{O}(dR^2/\epsilon^2)$ 的结果，该结果在对数因子范围内达到最优，并且相较于先前的界改进了 $d$ 倍，特别是在考虑权重相对于初始化的偏差而非绝对范数时。

ABSTRACT

We investigate the sample complexity of networks with bounds on the magnitude of its weights. In particular, we consider the class \[ H=\left\{W_t\circρ\circ \ldots\circρ\circ W_{1} :W_1,\ldots,W_{t-1}\in M_{d, d}, W_t\in M_{1,d} ight\} \] where the spectral norm of each $W_i$ is bounded by $O(1)$, the Frobenius norm is bounded by $R$, and $ρ$ is the sigmoid function $\frac{e^x}{1+e^x}$ or the smoothened ReLU function $ \ln (1+e^x)$. We show that for any depth $t$, if the inputs are in $[-1,1]^d$, the sample complexity of $H$ is $ ilde O\left(\frac{dR^2}{ε^2} ight)$. This bound is optimal up to log-factors, and substantially improves over the previous state of the art of $ ilde O\left(\frac{d^2R^2}{ε^2} ight)$. We furthermore show that this bound remains valid if instead of considering the magnitude of the $W_i$'s, we consider the magnitude of $W_i - W_i^0$, where $W_i^0$ are some reference matrices, with spectral norm of $O(1)$. By taking the $W_i^0$ to be the matrices at the onset of the training process, we get sample complexity bounds that are sub-linear in the number of parameters, in many typical regimes of parameters. To establish our results we develop a new technique to analyze the sample complexity of families $H$ of predictors. We start by defining a new notion of a randomized approximate description of functions $f:X o\mathbb{R}^d$. We then show that if there is a way to approximately describe functions in a class $H$ using $d$ bits, then $d/ε^2$ examples suffices to guarantee uniform convergence. Namely, that the empirical loss of all the functions in the class is $ε$-close to the true loss. Finally, we develop a set of tools for calculating the approximate description length of classes of functions that can be presented as a composition of linear function classes and non-linear functions.

研究动机与目标

• 为弥合经典泛化界与深度学习中经验成功之间的差距，通过引入权重大小约束。
• 改进针对 ReLU 和 Sigmoid 网络的当前最优样本复杂度界 $\tilde{O}(d^2R^2/\epsilon^2)$。
• 开发一种新的理论框架——近似描述长度（ADL），以分析神经网络函数类的样本复杂度。
• 证明当以初始化为基准测量权重范数而非绝对值时，可实现次线性样本复杂度。
• 将基于范数的泛化界适用范围扩展到权重更新较小的实际训练设置中。

提出的方法

• 引入一种使用 $d$ 个比特对函数 $f: \mathcal{X} \to \mathbb{R}^d$ 进行随机近似描述的新概念。
• 证明若函数类 $\mathcal{H}$ 允许长度为 $d$ 的近似描述，则 $d/\epsilon^2$ 个样本足以实现 $\epsilon$ 以内的统一收敛。
• 开发用于计算线性操作与非线性激活函数组合的近似描述长度的工具。
• 利用权重矩阵的谱范数和 Frobenius 范数约束来界定网络类的描述长度。
• 将该框架应用于具有 Sigmoid 和平滑 ReLU 激活函数的全连接网络，表明描述长度呈 $O(dR^2)$ 的增长。
• 分析权重范数相对于初始化矩阵 $W_i^0$ 测量的情形，当 $\|W_i - W_i^0\|_F \leq R$ 时，可获得更紧致的界。

实验结果

研究问题

• RQ1 我们能否通过测量权重范数相对于初始化而非绝对值的方式，为深度网络推导出更紧致的泛化界？
• RQ2 对于具有有界权重的全连接网络，$\tilde{O}(dR^2/\epsilon^2)$ 的样本复杂度是否在对数因子范围内达到最优？
• RQ3 近似描述长度（ADL）框架能否用于推导在参数数量上为次线性的泛化界？
• RQ4 ADL 框架是否可扩展至卷积网络或残差网络等其他架构？
• RQ5 ADL 方法能否推广至监督学习之外的场景，如聚类、主成分分析（PCA）和字典学习？

主要发现

• 该论文为具有 ReLU 和 Sigmoid 激活函数的全连接神经网络建立了 $\tilde{O}(dR^2/\epsilon^2)$ 的泛化界，该界在对数因子范围内达到最优。
• 该界相较于先前的最优界 $\tilde{O}(d^2R^2/\epsilon^2)$ 改进了 $d$ 倍。
• 当权重范数以初始化矩阵 $W_i^0$ 为基准进行测量时，样本复杂度在典型情形下（如 $R \sim \sqrt{d}$）呈现为参数数量的次线性关系。
• 作者证明了一个下界，表明 $\tilde{O}(dR^2/\epsilon^2)$ 在对数因子范围内是紧致的，从而确认了其上界最优性。
• ADL 框架被证明在分析由线性和非线性操作组成的函数类时有效，为泛化分析提供了新的理论工具。
• 实证证据表明 $\|W_i - W_i^0\|_F$ 通常远小于 $\|W_i\|_F$，支持了该改进界在实际中的相关性。