[论文解读] Generalization in Deep Networks: The Role of Distance from Initialization

Vaishnavh Nagarajan, J. Zico Kolter|arXiv (Cornell University)|Jan 7, 2019

Stochastic Gradient Optimization Techniques参考文献 12被引用 57

一句话总结

The paper proposes initialization-dependent effective model capacity and provides empirical and theoretical evidence that SGD implicitly regularizes the distance from initialization, which helps explain generalization in deep networks.

ABSTRACT

Why does training deep neural networks using stochastic gradient descent (SGD) result in a generalization error that does not worsen with the number of parameters in the network? To answer this question, we advocate a notion of effective model capacity that is dependent on {\em a given random initialization of the network} and not just the training algorithm and the data distribution. We provide empirical evidences that demonstrate that the model capacity of SGD-trained deep networks is in fact restricted through implicit regularization of {\em the $\ell_2$ distance from the initialization}. We also provide theoretical arguments that further highlight the need for initialization-dependent notions of model capacity. We leave as open questions how and why distance from initialization is regularized, and whether it is sufficient to explain generalization.

研究动机与目标

• 提出一个依赖于网络固定随机初始化的有效模型容量。
• 通过实证表明 SGD 会将距离初始化的距离正则化到一个宽度无关的值。
• 从理论上论证需要基于初始化的度量来解释泛化，超越基于宽度的范数。
• 探讨对解释泛化无效的初始化不敏感范数（例如距离原点）的局限性。

提出的方法

• 将有效容量 〃H_{m,\u0000\u001delta}[D,(Z,C),A]〃 定义为 SGD 在高概率下可以达到的参数配置集合。
• 实证分析在网络宽度 H 和训练集大小 m 变化时，与初始化的距离 r 如何表现，在真实标签和损坏标签下。
• 表明在中等宽度下 r 保持与宽度无关，并且随着训练数据量 m 和标签噪声的增加而增大。
• 给出线性网络的理论结果，显示在离初始化固定距离 r 的网络上的 Rademacher 复杂度界限。
• 讨论为何测量到原点距离的范数可能无法解释泛化。
• 给出推论和引理，将初始化、距离正则化与泛化界限联系起来。

实验结果

研究问题

• RQ1 神经网络的有效模型容量是否依赖于随机初始化？
• RQ2 SGD 是否可以隐式地将距离初始化正则化到一个宽度无关的值，并且这是否与泛化有关？
• RQ3 基于初始化的度量是否比从原点距离的范数在解释泛化方面更具信息量？
• RQ4 对被约束在初始化固定距离内的网络，可以建立哪些理论保证？
• RQ5 距离初始化的尺度如何随宽度、数据规模和标签噪声而变化？

主要发现

• 从初始化移动的距离在中等宽度下在很大程度上与宽度无关，随着宽度增加趋于保持有界。
• 距离 r 随标签噪声和更大训练集的增加而增加，表明对噪声数据需要更多的记忆。
• 对于线性网络，在初始化基于距离 r 内的网络的 Rademacher 复杂度具有宽度无关的界限（随 r 和网络深度变化）。
• 与距离原点相关的范数可能随宽度增大而增大，无法解释泛化，突出显示初始化相关度量的价值。
• 单独的随机初始化对未训练网络也给出宽度无关的泛化误差，支持基于初始化的容量概念。