[论文解读] Gradually Updated Neural Networks for Large-Scale Image Recognition

Siyuan Qiao, Zhishuai Zhang+3 more|arXiv (Cornell University)|Nov 25, 2017

Advanced Neural Network Applications参考文献 39被引用 3

一句话总结

本文提出渐进式更新神经网络（GUNN），一种新颖方法，通过在卷积层中引入通道级计算顺序，提升网络深度，实现无需额外参数的更深层次特征学习。GUNN 消除了损失曲面中的重叠奇点，改善了训练收敛性和性能，在 CIFAR-10、CIFAR-100 和 ImageNet 上实现了最先进准确率，且架构改动极小。

ABSTRACT

Depth is one of the keys that make neural networks succeed in the task of large-scale image recognition. The state-of-the-art network architectures usually increase the depths by cascading convolutional layers or building blocks. In this paper, we present an alternative method to increase the depth. Our method is by introducing computation orderings to the channels within convolutional layers or blocks, based on which we gradually compute the outputs in a channel-wise manner. The added orderings not only increase the depths and the learning capacities of the networks without any additional computation costs, but also eliminate the overlap singularities so that the networks are able to converge faster and perform better. Experiments show that the networks based on our method achieve the state-of-the-art performances on CIFAR and ImageNet datasets.

研究动机与目标

• 为解决训练极深网络的挑战，提出一种新机制，在不增加参数或计算成本的前提下提升有效深度。
• 消除标准深度网络中阻碍训练并降低性能的损失曲面重叠奇点。
• 通过特征计算的结构重排，提升深度卷积神经网络的泛化能力和收敛速度。
• 通过仅对现有架构进行最小化、即插即用的修改，在标准图像识别基准上实现最先进性能。

提出的方法

• GUNN 在卷积层中引入通道间的顺序计算顺序，使每个输出通道在前序通道计算完成后才被计算，从而有效增加深度。
• 该方法保持与原始网络相同的参数数量和 FLOPs，具有计算高效性。
• 通过顺序处理打破神经元之间的对称性，防止内部神经元崩溃，并消除损失曲面中的重叠奇点。
• 该方法与残差学习兼容，可应用于任意残差网络架构，如 ResNet 或 DenseNet。
• 计算顺序在每个模块内的通道层级应用，使网络中逐步实现特征精炼。
• 该方法被应用于 ResNet 和 DenseNet 等标准架构，通过重新排序通道计算，将其转换为 GUNN 变体。

实验结果

研究问题

• RQ1 网络是否能在不增加参数或 FLOPs 的前提下实现更高的有效深度和性能？
• RQ2 在通道间引入顺序计算顺序是否能消除深度网络损失曲面中的重叠奇点？
• RQ3 GUNN 是否能改善 CIFAR 和 ImageNet 等标准图像识别基准的训练收敛性和泛化能力？
• RQ4 在准确率和训练动态方面，GUNN 与 ResNet、DenseNet 和 ResNeXt 等最先进架构相比表现如何？

主要发现

• GUNN-18 在 ImageNet 上达到 21.65% 的 top-1 错误率，优于参数量相近的 ResNet-18（24.0%）和 ResNeXt-18（22.2%）。
• 在 CIFAR-10 上，GUNN-15 搭配残差学习将错误率降低至 4.15%，优于基线 SUNN-15 的 5.64%。
• 消融实验表明，与 SUNN 相比，GUNN 搭配残差学习在 CIFAR-10 上降低错误率 1.49%，在 CIFAR-100 上降低 7.06%。
• GUNN-24 在 CIFAR-10 上达到 3.21% 的 top-1 错误率，显著优于 SUNN-24 的 3.88%，并展现出更快的收敛速度。
• 训练动态显示，GUNN 网络收敛更快，且避免了因神经元崩溃导致的性能下降。
• GUNN 在参数量为 2890 万的设置下，在 ImageNet 上达到最先进性能，与更复杂的模型如 DenseNet-264 和 ResNeXt-101 相当或更优。