[论文解读] Lets keep it simple, Using simple architectures to outperform deeper and more complex architectures

Seyyed Hossein Hasanpour, Mohammad Rouhani+2 more|arXiv (Cornell University)|Aug 22, 2016

Advanced Neural Network Applications参考文献 56被引用 56

一句话总结

本文提出 SimpleNet，一种轻量级的13层卷积神经网络架构，通过系统化的架构设计选择，在CIFAR-10、MNIST、CIFAR-100、SVHN和ImageNet上实现了最先进或接近最先进性能，优于更深、更复杂的模型（如VGGNet和ResNet），同时参数量和FLOPs减少2至25倍。

ABSTRACT

Major winning Convolutional Neural Networks (CNNs), such as AlexNet, VGGNet, ResNet, GoogleNet, include tens to hundreds of millions of parameters, which impose considerable computation and memory overhead. This limits their practical use for training, optimization and memory efficiency. On the contrary, light-weight architectures, being proposed to address this issue, mainly suffer from low accuracy. These inefficiencies mostly stem from following an ad hoc procedure. We propose a simple architecture, called SimpleNet, based on a set of designing principles, with which we empirically show, a well-crafted yet simple and reasonably deep architecture can perform on par with deeper and more complex architectures. SimpleNet provides a good tradeoff between the computation/memory efficiency and the accuracy. Our simple 13-layer architecture outperforms most of the deeper and complex architectures to date such as VGGNet, ResNet, and GoogleNet on several well-known benchmarks while having 2 to 25 times fewer number of parameters and operations. This makes it very handy for embedded systems or systems with computational and memory limitations. We achieved state-of-the-art result on CIFAR10 outperforming several heavier architectures, near state of the art on MNIST and competitive results on CIFAR100 and SVHN. We also outperformed the much larger and deeper architectures such as VGGNet and popular variants of ResNets among others on the ImageNet dataset. Models are made available at: https://github.com/Coderx7/SimpleNet

研究动机与目标

• 解决如VGGNet和ResNet等深层复杂CNN的效率低下问题，尽管其准确率高，但需要高计算和内存资源。
• 克服现有轻量级架构在追求效率时牺牲性能的准确率局限。
• 证明通过精心设计的简单架构，可在显著降低模型复杂度的同时实现更优的准确率。
• 为在资源受限环境中应用的高效且准确的CNN提供系统化的设计框架。
• 通过在多个标准视觉数据集上超越更重的架构，建立轻量级模型的新基准。

提出的方法

• 基于一组聚焦于效率与性能的系统化架构原则，设计一个13层的卷积神经网络。
• 采用步长大卷积和下采样层，早期减少空间维度，以最小化计算负载。
• 使用批量归一化和ReLU激活函数，以稳定并加速训练过程。
• 优化每层的滤波器大小和通道数，以在表征能力与参数效率之间取得平衡。
• 应用标准的数据增强和优化技术（如带动量的SGD）以提升泛化能力。
• 在所有基准测试中使用单一统一架构，确保公平比较并验证其泛化能力。

实验结果

研究问题

• RQ1 一个简单、浅层的CNN架构是否能在参数量显著减少的情况下，超越如ResNet和VGGNet等更深、更复杂的模型，实现更高的准确率？
• RQ2 在不牺牲性能的前提下，架构的简洁性与系统化设计选择能在多大程度上减少计算和内存开销？
• RQ3 像SimpleNet这样的轻量级架构在CIFAR-10、CIFAR-100、SVHN、MNIST和ImageNet等标准基准上的表现如何，相较于最先进模型？
• RQ4 一种极简的架构设计（层数和超参数更少）是否仍能在多样化的视觉任务中实现具有竞争力或更优的准确率？
• RQ5 一个单一的、统一的轻量级架构是否无需针对特定任务调优，也能在多个数据集上实现强大性能？

主要发现

• SimpleNet在CIFAR-10上实现了最先进准确率，超越了如VGGNet和ResNet变体等更深、更复杂的模型。
• 在ImageNet上，SimpleNet在参数量显著更少的情况下，仍优于更大的深层架构（如VGGNet和标准ResNet变体）。
• 在MNIST上，SimpleNet以极简架构实现了接近最先进性能，证明其在小数据集上的强大泛化能力。
• 与更深模型相比，SimpleNet将参数量减少了2至25倍，FLOPs也减少了相似幅度，使其非常适用于嵌入式系统。
• 在CIFAR-100和SVHN上，SimpleNet也取得了具有竞争力的结果，证实其在多样化视觉基准上的鲁棒性。
• 作者在最终版本中更新并补充了长期缺失的ImageNet和CIFAR-10/100结果，验证了该模型在多次评估中持续的高性能表现。