[论文解读] Merging and Evolution: Improving Convolutional Neural Networks for Mobile Applications

Zheng Qin, Zhaoning Zhang+3 more|arXiv (Cornell University)|Mar 24, 2018

Advanced Neural Network Applications参考文献 25被引用 3

一句话总结

本文提出了Merging-and-Evolution（ME）模块及MENet，一种专为移动应用设计的紧凑卷积神经网络家族。通过引入融合操作以编码组间特征信息，以及通过演化操作提取空间模式，MENet显著减轻了组卷积带来的性能下降问题，在严格的计算预算下实现了最先进（SOTA）的准确率——在140 MFLOPs下，PASCAL VOC 2007的mAP相比ShuffleNet和MobileNet最高提升4.1%。

ABSTRACT

Compact neural networks are inclined to exploit "sparsely-connected" convolutions such as depthwise convolution and group convolution for employment in mobile applications. Compared with standard "fully-connected" convolutions, these convolutions are more computationally economical. However, "sparsely-connected" convolutions block the inter-group information exchange, which induces severe performance degradation. To address this issue, we present two novel operations named merging and evolution to leverage the inter-group information. Our key idea is encoding the inter-group information with a narrow feature map, then combining the generated features with the original network for better representation. Taking advantage of the proposed operations, we then introduce the Merging-and-Evolution (ME) module, an architectural unit specifically designed for compact networks. Finally, we propose a family of compact neural networks called MENet based on ME modules. Extensive experiments on ILSVRC 2012 dataset and PASCAL VOC 2007 dataset demonstrate that MENet consistently outperforms other state-of-the-art compact networks under different computational budgets. For instance, under the computational budget of 140 MFLOPs, MENet surpasses ShuffleNet by 1% and MobileNet by 1.95% on ILSVRC 2012 top-1 accuracy, while by 2.3% and 4.1% on PASCAL VOC 2007 mAP, respectively.

研究动机与目标

• 解决紧凑CNN中因组卷积和逐通道卷积导致的组间信息丢失所引发的性能下降问题。
• 设计高效的结构操作，实现在不增加计算成本的前提下，实现通道组之间的特征融合。
• 设计一种新型神经网络架构MENet，在严格的FLOP约束下保持高准确率，适用于移动部署。
• 在迁移学习场景中提升泛化能力，尤其针对目标检测任务。
• 克服现有方法（如ShuffleNet）在增加通道组数时出现收益递减的局限性。

提出的方法

• 融合操作将同一空间位置上所有通道的特征聚合到一个狭窄的特征图中，以编码组间信息。
• 演化操作通过逐通道卷积和逐点卷积，从融合后的狭窄特征图中提取空间模式。
• ME模块将融合与演化整合为一个类似残差块的结构，利用逐通道卷积和组卷积实现计算效率。
• 特征融合通过逐元素乘积（缩放）而非加法实现，从而实现更有效的组间表征学习。
• ME模块被堆叠成分层网络架构，后期阶段通道数逐步增加，以增强表征能力。
• 使用RoI对齐的Faster R-CNN对预训练的MENet模型进行微调，以实现迁移学习在目标检测任务上的应用。

实验结果

研究问题

• RQ1 在依赖组卷积和逐通道卷积的紧凑CNN中，如何有效恢复组间信息？
• RQ2 在组间特征融合中，将逐元素加法替换为逐元素乘积会产生何种影响？
• RQ3 与ShuffleNet的通道混洗等现有模块相比，所提出的ME模块在准确率和效率方面表现如何？
• RQ4 MENet在低FLOP预算下能否在下游任务（如目标检测）中实现良好泛化？
• RQ5 与ShuffleNet不同，MENet在增加通道组数时是否能持续获得性能提升？

主要发现

• 在140 MFLOPs下，MENet在ILSVRC 2012数据集上达到65.9%的top-1准确率，相比ShuffleNet高出1%，相比MobileNet高出1.95%。
• 在PASCAL VOC 2007目标检测任务中，MENet在140 MFLOPs下达到58.9%的mAP，相比ShuffleNet（56.6%）高出2.3%，相比MobileNet（54.8%）高出4.1%。
• 对于具有挑战性的“boat”类别，MENet在140 MFLOPs下相比ShuffleNet提升6.9%的mAP，相比MobileNet提升4.2%。
• 在550 MFLOPs下，MENet在mAP上相比ShuffleNet高出2%，相比MobileNet高出3.1%，表明其在不同计算预算下均保持一致的性能优势。
• 当通道组数为4时，使用逐元素乘积进行融合相比逐元素加法可提升1.05%的准确率，表明其具有更优的表征学习能力。
• 与ShuffleNet不同，MENet在增加通道组数时仍能保持性能增益，未出现性能下降。