[论文解读] Landscape Connectivity and Dropout Stability of SGD Solutions for Over-parameterized Neural Networks

Alexander P. Shevchenko, Marco Mondelli|arXiv (Cornell University)|Dec 20, 2019

Stochastic Gradient Optimization Techniques参考文献 59被引用 6

一句话总结

本文证明，使用SGD训练的过参数化神经网络表现出近似景观连通性与丢弃稳定性。随着神经元数量增加，SGD解对神经元移除（即丢弃）的鲁棒性不断增强；同时，这些解可通过一条分段线性路径相连，且损失增加量随网络宽度趋于零，表明过参数化模型具有有利的优化景观。

ABSTRACT

The optimization of multilayer neural networks typically leads to a solution with zero training error, yet the landscape can exhibit spurious local minima and the minima can be disconnected. In this paper, we shed light on this phenomenon: we show that the combination of stochastic gradient descent (SGD) and over-parameterization makes the landscape of multilayer neural networks approximately connected and thus more favorable to optimization. More specifically, we prove that SGD solutions are connected via a piecewise linear path, and the increase in loss along this path vanishes as the number of neurons grows large. This result is a consequence of the fact that the parameters found by SGD are increasingly dropout stable as the network becomes wider. We show that, if we remove part of the neurons (and suitably rescale the remaining ones), the change in loss is independent of the total number of neurons, and it depends only on how many neurons are left. Our results exhibit a mild dependence on the input dimension: they are dimension-free for two-layer networks and depend linearly on the dimension for multilayer networks. We validate our theoretical findings with numerical experiments for different architectures and classification tasks.

研究动机与目标

• 理解为何SGD在存在虚假极小值的非凸景观下仍能成功优化过参数化神经网络。
• 解释SGD找到的极小值可通过低损失路径近似连接的实验观察。
• 通过丢弃稳定性和景观连通性，从理论上解释宽网络优化行为的改善。
• 量化损失变化对网络宽度、输入维度和丢弃模式大小的依赖关系。

提出的方法

• 分析具有N个神经元的两层ReLU网络，利用SGD动力学的平均场近似，推导神经元移除后损失变化的界。
• 证明在两层网络中，移除N−M个神经元后损失变化的尺度为O(√(log M / M))，且与N和输入维度d无关。
• 构建一条连接两个SGD解的分段线性路径，证明损失增加量被限制在O(√(log N / N))以内，且随着N增大而趋于零。
• 将结果扩展至多层网络（L+1 ≥ 4层），证明丢弃后的损失变化尺度为O(√((d + log M)/M))，景观连通性路径的损失增加量为O(√((d + log N)/N))。
• 利用输出层的凸性与插值技术，确保解之间路径上的损失保持有界。
• 通过单次遍历SGD和基于路径的损失评估，在各向同性高斯分布、MNIST和CIFAR-10上验证理论结果。

实验结果

研究问题

• RQ1 过参数化在多大程度上影响SGD训练的神经网络损失景观的连通性？
• RQ2 SGD解在神经元丢弃下的稳定性如何？这种稳定性如何随网络宽度变化？
• RQ3 丢弃后损失变化对剩余神经元数量和输入维度的依赖关系是什么？
• RQ4 SGD解能否通过低损失路径连接？该路径的损失增加量如何随网络宽度变化？

主要发现

• 对于两层网络，移除N−M个神经元后损失变化的尺度为O(√(log M / M))，且与N和d无关，表明具有强丢弃稳定性。
• 连接两个SGD解的分段线性路径上，损失增加量被限制在O(√(log N / N))以内，且随N增大而趋于零，表明景观具有近似连通性。
• 对于具有L+1 ≥ 4层的多层网络，丢弃后的损失变化尺度为O(√((d + log M)/M))，且对输入维度d仅呈线性依赖。
• 多层网络的景观连通性损失增加量尺度为O(√((d + log N)/N))，只要N ≫ d，该量即趋于零。
• 数值实验表明，即使在中等宽度（如N=800）下，丢弃性能也趋近于完整网络性能，分类误差低于0.4%。
• 实验路径评估显示，连接不同SGD解的分段线性路径上损失增加极小，验证了理论连通性界。