[论文解读] Gradient Descent Quantizes ReLU Network Features

Hartmut Maennel, Olivier Bousquet+1 more|arXiv (Cornell University)|Mar 22, 2018

Stochastic Gradient Optimization Techniques参考文献 10被引用 27

一句话总结

该论文提出，在小初始化条件下，过参数化的ReLU网络中的梯度下降会促使权重向量被量化为有限个与数据相关的方向，从而有效将模型约束为仅学习有限数量的‘简单’分段线性函数。关键结果是，训练动态自然导致类似于在单纯形剖分上进行线性插值的函数，这或许能解释尽管模型容量无界，但其仍能实现良好泛化的原因。

ABSTRACT

Deep neural networks are often trained in the over-parametrized regime (i.e. with far more parameters than training examples), and understanding why the training converges to solutions that generalize remains an open problem. Several studies have highlighted the fact that the training procedure, i.e. mini-batch Stochastic Gradient Descent (SGD) leads to solutions that have specific properties in the loss landscape. However, even with plain Gradient Descent (GD) the solutions found in the over-parametrized regime are pretty good and this phenomenon is poorly understood. We propose an analysis of this behavior for feedforward networks with a ReLU activation function under the assumption of small initialization and learning rate and uncover a quantization effect: The weight vectors tend to concentrate at a small number of directions determined by the input data. As a consequence, we show that for given input data there are only finitely many, "simple" functions that can be obtained, independent of the network size. This puts these functions in analogy to linear interpolations (for given input data there are finitely many triangulations, which each determine a function by linear interpolation). We ask whether this analogy extends to the generalization properties - while the usual distribution-independent generalization property does not hold, it could be that for e.g. smooth functions with bounded second derivative an approximation property holds which could "explain" generalization of networks (of unbounded size) to unseen inputs.

研究动机与目标

• 理解为何在高容量的过参数化ReLU网络中，梯度下降仍能实现良好泛化。
• 研究小权重初始化和学习率在网络解空间塑造中的作用。
• 探索梯度下降是否导致与网络规模无关的离散有限函数集合。
• 分析学习到的网络函数与在单纯形剖分上进行线性插值的类比关系。
• 确定此类函数是否对具有有界二阶导数的光滑函数具备逼近性质。

提出的方法

• 分析单隐藏层ReLU网络在无穷小权重初始化和学习率极限下的梯度下降动态。
• 将训练过程建模为两阶段机制：(i) 权重向量对齐至离散的数据相关方向，(ii) 最小化损失。
• 将解的形式形式化为等价于贪心网络构建过程，即逐个添加神经元以最小化损失。
• 建立最终网络函数与输入数据单纯形剖分上的分段线性插值之间的对应关系。
• 通过数学分析证明，无论网络规模如何，仅能学习到有限多个函数。
• 在小样本数据和MNIST数据上通过贪心训练模拟对模型进行实证验证。

实验结果

研究问题

• RQ1 在小初始化条件下，过参数化的ReLU网络中的梯度下降是否会导致与网络规模无关的有限个可能函数？
• RQ2 学习到的函数能否被解释为基于数据定义的单纯形剖分上的分段线性插值？
• RQ3 这些函数是否对具有有界二阶导数的光滑函数表现出逼近性质？
• RQ4 权重向量对齐至离散数据相关方向是否是该设置下梯度下降的普遍特征？
• RQ5 这种量化效应在多大程度上解释了深度网络中的泛化现象？

主要发现

• 小初始化下的梯度下降导致权重向量对齐至与数据相关的有限个方向，且与网络规模无关。
• 所得函数为分段线性函数，其拐点数量受训练样本数量的限制，例如在一条线上最多有2K + 1个拐点（K个点）。
• 最终网络函数等价于最小分段线性插值器的贪心构建过程，通常与线性插值非常接近。
• 数值实验表明，即使使用大规模网络，最终函数依然简单且泛化良好，尤其当底层函数为光滑函数时。
• 该模型捕捉到了MNIST训练中的关键行为，如活跃神经元数量随训练集规模呈次线性增长。
• 在动画中观察到拐点与训练样本点或拐点对齐，表明解中存在强烈的数据驱动结构。