[论文解读] Residual Squeeze VGG16

Hussam Qassim, David Feinzimer+1 more|arXiv (Cornell University)|May 5, 2017

Advanced Neural Network Applications参考文献 31被引用 7

一句话总结

本文提出 ResSquVGG16，一种压缩的深层卷积神经网络，结合了 SqueezeNet 的 Fire 模块与 VGG16 类架构中的残差连接。在 Places365-Standard 上从零开始训练，其准确率达到 VGG16 水平（Top-1: 55.2%，Top-5: 78.4%），模型大小减少 88.4%，训练时间缩短 23.86%。

ABSTRACT

Deep learning has given way to a new era of machine learning, apart from computer vision. Convolutional neural networks have been implemented in image classification, segmentation and object detection. Despite recent advancements, we are still in the very early stages and have yet to settle on best practices for network architecture in terms of deep design, small in size and a short training time. In this work, we propose a very deep neural network comprised of 16 Convolutional layers compressed with the Fire Module adapted from the SQUEEZENET model. We also call for the addition of residual connections to help suppress degradation. This model can be implemented on almost every neural network model with fully incorporated residual learning. This proposed model Residual-Squeeze-VGG16 (ResSquVGG16) trained on the large-scale MIT Places365-Standard scene dataset. In our tests, the model performed with accuracy similar to the pre-trained VGG16 model in Top-1 and Top-5 validation accuracy while also enjoying a 23.86% reduction in training time and an 88.4% reduction in size. In our tests, this model was trained from scratch.

研究动机与目标

• 设计一种紧凑的深层神经网络，在减少模型大小和训练时间的同时保持高准确率。
• 通过结合参数效率与残差学习，解决在资源受限设备上部署深度网络的挑战。
• 探索将 SqueezeNet 的 Fire 模块整合到具有残差连接的 VGG16 类架构中的有效性。
• 评估在大规模场景数据集上从零开始训练的小型深层网络是否能实现具有竞争力的性能。
• 建立一种结合混合架构组件的高效、高精度图像分类新基线。

提出的方法

• 该模型采用 16 个卷积层，结构类似 VGG16，但将标准卷积模块替换为 SqueezeNet 的 Fire 模块以提升参数效率。
• 每个 Fire 模块由一个压缩层（1x1 卷积）和一个扩展层（1x1 和 3x3 卷积）组成，以减少参数量和 FLOPs。
• 在每个 Fire 模块后添加残差连接，以缓解深层网络中的梯度消失与退化问题。
• 使用随机梯度下降优化，结合权重衰减与数据增强，在 MIT Places365-Standard 数据集上从零开始训练网络。
• 该架构设计为模块化，可仅通过最小修改将残差学习集成到其他网络设计中。
• 测量并对比模型大小与训练时间，与微调后的 VGG16 进行效率增益评估。

实验结果

研究问题

• RQ1 具有 Fire 模块与残差连接的深层网络是否能在显著更小且更快的前提下，实现与 VGG16 相当的性能？
• RQ2 SqueezeNet 的参数高效模块与残差学习相结合，在深层架构中对训练稳定性与准确率的影响如何？
• RQ3 在 Places365-Standard 上从零开始训练的模型，能在多大程度上达到微调 VGG16 的准确率？
• RQ4 在 VGG 类结构中用 Fire 模块替代标准卷积时，模型大小、训练时间与准确率之间的权衡如何？
• RQ5 残差连接是否能有效稳定压缩型深层网络架构中的训练过程？

主要发现

• ResSquVGG16 在 Places365-Standard 数据集上达到 Top-1 验证准确率 55.2% 和 Top-5 准确率 78.4%。
• 与微调后的 VGG16 相比，模型大小减少了 88.4%，使其在边缘设备上部署极具优势。
• 尽管从零开始训练，训练时间仍比 VGG16 缩短 23.86%。
• 该模型在极少超参数调优下保持了具有竞争力的性能，证明了 Fire 模块与残差连接集成的有效性。
• 结果证实，将参数高效模块与残差学习结合，可在降低计算成本的同时实现高准确率。
• 该模型的性能验证了在大规模数据集上从零开始训练深层紧凑网络的可行性，无需预训练。