[论文解读] The loss surface and expressivity of deep convolutional neural networks

Quynh Nguyen, Matthias Hein|arXiv (Cornell University)|Oct 30, 2017

Adversarial Robustness in Machine Learning参考文献 65被引用 18

一句话总结

本文分析了具有共享权重和最大池化的宽、实用的深度卷积神经网络（CNN）的损失曲面和表达能力。证明了当CNN层的神经元数量超过训练样本数时，其会产生线性无关的特征；对于此类宽网络，经验损失的几乎所有临界点都是具有零训练误差的全局最小值——表明由于宽度的存在，优化景观表现良好。

ABSTRACT

We analyze the expressiveness and loss surface of practical deep convolutional neural networks (CNNs) with shared weights and max pooling layers. We show that such CNNs produce linearly independent features at a layer which has more neurons than the number of training samples. This condition holds e.g. for the VGG network. Furthermore, we provide for such wide CNNs necessary and sufficient conditions for global minima with zero training error. For the case where the wide layer is followed by a fully connected layer, we show that almost every critical point of the empirical loss is a global minimum with zero training error. Our analysis suggests that both depth and width are very important in deep learning. While depth brings more representational power and allows the network to learn high level features, width smoothes the optimization landscape of the loss function in the sense that a sufficiently wide network has a well-behaved loss surface with potentially no bad local minima.

研究动机与目标

• 理解具有共享权重和最大池化的实用深度CNN的表达能力和优化特性。
• 研究网络宽度如何影响损失曲面以及全局最小值的存在性。
• 识别宽CNN在何种条件下可实现零训练误差的全局最小值。
• 阐明深度与宽度在深度学习中互补的作用。

提出的方法

• 在隐藏层神经元数量超过训练样本数的条件下，对具有共享权重和最大池化层的CNN进行理论分析。
• 推导宽CNN中具有零训练误差的全局最小值的必要与充分条件。
• 证明对于宽层后接全连接层的宽网络，几乎所有经验损失的临界点都是具有零训练误差的全局最小值。
• 运用线性代数与优化理论分析宽网络中损失曲面的结构。
• 聚焦网络宽度与经验损失函数几何结构之间的相互作用。

实验结果

研究问题

• RQ1 在何种条件下，宽CNN可实现零训练误差的全局最小值？
• RQ2 网络宽度在多大程度上影响CNN中损失曲面的几何结构？
• RQ3 宽度与深度在决定深度网络优化景观中的作用分别是什么？
• RQ4 为何宽CNN相比更窄的网络表现出更少的不良局部最小值？

主要发现

• 当CNN层的神经元数量超过训练样本数时，其会产生线性无关的特征。
• 对于神经元数量超过训练样本数的宽CNN，推导出了具有零训练误差的全局最小值的必要与充分条件。
• 在宽层后接全连接层的宽CNN中，几乎所有经验损失的临界点都是具有零训练误差的全局最小值。
• 网络宽度显著平滑了损失曲面，减少了不良局部最小值的出现。