[论文解读] EraseReLU: A Simple Way to Ease the Training of Deep Convolution Neural Networks

Xuanyi Dong, Guoliang Kang+2 more|arXiv (Cornell University)|Sep 22, 2017

Advanced Neural Network Applications参考文献 25被引用 15

一句话总结

本文提出EraseReLU，一种简单而有效的方法，通过在ResNet、Pre-Act ResNet、Wide ResNet和ResNeXt等架构的每个残差块的最后层移除ReLU激活函数，从而提升非常深的卷积神经网络的训练效率与性能。该方法减少了非线性，增强了梯度流动，并实现了最先进性能，包括在ImageNet-10%上实现1.4%的top-1准确率提升，以及在ImageNet完整数据集上实现0.6%的提升，模型为ResNet-152。

ABSTRACT

For most state-of-the-art architectures, Rectified Linear Unit (ReLU) becomes a standard component accompanied with each layer. Although ReLU can ease the network training to an extent, the character of blocking negative values may suppress the propagation of useful information and leads to the difficulty of optimizing very deep Convolutional Neural Networks (CNNs). Moreover, stacking layers with nonlinear activations is hard to approximate the intrinsic linear transformations between feature representations. In this paper, we investigate the effect of erasing ReLUs of certain layers and apply it to various representative architectures following deterministic rules. It can ease the optimization and improve the generalization performance for very deep CNN models. We find two key factors being essential to the performance improvement: 1) the location where ReLU should be erased inside the basic module; 2) the proportion of basic modules to erase ReLU; We show that erasing the last ReLU layer of all basic modules in a network usually yields improved performance. In experiments, our approach successfully improves the performance of various representative architectures, and we report the improved results on SVHN, CIFAR-10/100, and ImageNet. Moreover, we achieve competitive single-model performance on CIFAR-100 with 16.53% error rate compared to state-of-the-art.

研究动机与目标

• 探究在非常深的CNN中减少非线性是否能缓解优化问题并改善泛化性能。
• 确定在残差块中移除ReLU层是否能缓解梯度抑制并改善训练动态。
• 识别关键设计因素——ReLU移除的位置与比例——以最大化性能提升。
• 在不增加计算成本的前提下，证明EraseReLU在多种最先进架构中的有效性。

提出的方法

• EraseReLU以确定性方式从每个残差块的最后层移除ReLU激活函数。
• 该方法在所有架构中应用相同规则：从每个基础模块的最后层移除ReLU。
• 具有移除ReLU的模块比例作为超参数进行调优，通常100%比例可获得最优结果。
• 该方法统一应用于多种架构，包括ResNet、Pre-Act ResNet、Wide ResNet、Inception-V2和ResNeXt。
• 理论分析表明，ReLU层在非常深的网络中会抑制梯度反向传播。
• 实验采用标准训练协议，使用相同的数据增强和预处理方法，以确保公平比较。

实验结果

研究问题

• RQ1 在深度CNN的某些层中移除ReLU是否能改善泛化能力和训练稳定性？
• RQ2 在残差块中，移除ReLU的最佳位置在哪里，才能实现最大性能提升？
• RQ3 具有移除ReLU的模块比例如何影响模型准确率和收敛性？
• RQ4 EraseReLU是否能在不增加FLOPs的前提下，同时提升小规模（CIFAR）和大规模（ImageNet）数据集的性能？
• RQ5 EraseReLU在CIFAR-100和ImageNet等基准数据集上是否优于或匹配最先进模型？

主要发现

• 在ImageNet-10%上，EraseReLU将ResNet-50的top-1准确率提升了1.4%；在完整ImageNet数据集上提升了0.6%。
• 在CIFAR-100上，EraseReLU实现了16.53%的错误率，优于包括Pre-act ResNet-1001在内的最先进模型。
• 该方法在不增加FLOPs的前提下，显著提升了SVHN、CIFAR-10、CIFAR-100和ImageNet等多个架构的性能。
• 从所有基础模块的最后层移除ReLU，其结果始终优于其他配置。
• 该方法可加快训练初期的收敛速度，并减少深度网络中的梯度抑制。
• 在ImageNet-30%上，使用25%的ReLU移除比例即可达到与原始模型相当的性能，表明其对数据集规模变化具有敏感性。