[论文解读] A law of robustness for two-layers neural networks

Sébastien Bubeck, Yuanzhi Li+1 more|arXiv (Cornell University)|Sep 30, 2020

Neural Networks and Applications参考文献 22被引用 8

一句话总结

本文提出一个猜想：两层神经网络必须具有约 $\sqrt{n/k}$ 阶的Lipschitz常数，才能完美拟合通用数据，这意味着鲁棒性要求过参数化——即使仅需 $k \approx n/d$ 个神经元即可完成基本的数据拟合，但为实现 $O(1)$ 阶Lipschitz连续性，仍需 $k \approx n$ 个神经元。作者通过实验验证了最大梯度与 $\sqrt{n/k}$ 之间的线性关系，证明了该猜想在谱范数界、高维情形（$n \approx d$）及多项式激活函数下的弱版本。

ABSTRACT

We initiate the study of the inherent tradeoffs between the size of a neural network and its robustness, as measured by its Lipschitz constant. We make a precise conjecture that, for any Lipschitz activation function and for most datasets, any two-layers neural network with $k$ neurons that perfectly fit the data must have its Lipschitz constant larger (up to a constant) than $\sqrt{n/k}$ where $n$ is the number of datapoints. In particular, this conjecture implies that overparametrization is necessary for robustness, since it means that one needs roughly one neuron per datapoint to ensure a $O(1)$-Lipschitz network, while mere data fitting of $d$-dimensional data requires only one neuron per $d$ datapoints. We prove a weaker version of this conjecture when the Lipschitz constant is replaced by an upper bound on it based on the spectral norm of the weight matrix. We also prove the conjecture in the high-dimensional regime $n \approx d$ (which we also refer to as the undercomplete case, since only $k \leq d$ is relevant here). Finally we prove the conjecture for polynomial activation functions of degree $p$ when $n \approx d^p$. We complement these findings with experimental evidence supporting the conjecture.

研究动机与目标

• 研究神经网络规模与鲁棒性之间的根本权衡，以Lipschitz常数为度量。
• 确定在通用数据上训练的两层ReLU网络中，过参数化是否对鲁棒性是必要的。
• 形式化并证明关于网络规模 $k$、数据规模 $n$ 与可实现的最小Lipschitz常数之间关系的猜想的部分版本。
• 提供理论与实证证据，表明鲁棒性所需的参数量远超单纯数据拟合的需求。

提出的方法

• 提出一个猜想：任何能完美拟合通用数据的两层网络，其Lipschitz常数至少为 $\Omega(\sqrt{n/k})$（针对Lipschitz激活函数）。
• 通过权重重心矩阵的谱范数界，证明该猜想的较弱版本。
• 在高维情形（$n \approx d$）下证明该猜想，利用测度集中与张量分解技术。
• 针对多项式激活函数（次数为 $p$），在 $n \approx d^p$ 时证明该猜想，借助Markov兄弟不等式与张量范数下界。
• 通过使用批量归一化与Adam优化的ReLU网络进行实证训练，将最大梯度作为Lipschitz常数的代理指标。
• 开展两项实验：(1) 调整 $n/k$ 以检验 $\sqrt{n/k}$ 的缩放关系；(2) 比较 $k=n$ 与 $k=10n/d$ 的情形，以验证鲁棒性与规模之间的权衡。

实验结果

研究问题

• RQ1 在通用数据上训练的两层神经网络中，过参数化是否对鲁棒性是必要的？
• RQ2 对于使用 $k$ 个神经元完美拟合 $n$ 个数据点的两层网络，其可实现的最小Lipschitz常数是多少？
• RQ3 为实现 $O(1)$ 阶Lipschitz连续性，所需网络规模如何随数据规模 $n$ 与输入维度 $d$ 变化？
• RQ4 在特定条件下（如多项式激活函数或高维设定）能否证明Lipschitz常数的 $\sqrt{n/k}$ 下界猜想？
• RQ5 ReLU网络的实证训练是否证实了最大梯度与 $\sqrt{n/k}$ 之间存在预测的线性依赖关系？

主要发现

• 该猜想表明，鲁棒性要求 $k \approx n$ 个神经元，而仅需 $k \approx n/d$ 个神经元即可完成数据拟合，这意味着鲁棒性带来 $d$ 倍的过参数化代价。
• 对于次数为 $p$ 的多项式激活函数，当 $n \approx d^p$ 时，该猜想成立，且Lipschitz常数下界为 $\Omega(\sqrt{n/k})$。
• 在高维情形（$n \approx d$）下，该猜想已得证明，表明为实现 $O(1)$ 阶Lipschitz连续性，$k \approx n$ 个神经元是必需的。
• 基于谱范数的界证明了该猜想的较弱版本，表明对拟合数据的秩-$k$ 矩阵，有 $\|T\|_{\mathrm{op}} \geq c \frac{\sqrt{nd}}{k}$。
• 实验结果证实了最大梯度（作为Lipschitz常数的代理）与 $\sqrt{n/k}$ 之间存在线性趋势，从实证角度支持了该猜想。
• 当 $k = n$ 时，最大梯度随 $\sqrt{d}$ 增大而保持近似恒定；而当 $k = 10n/d$ 时，梯度随 $\sqrt{d}$ 线性增长，验证了理论上的权衡关系。