[论文解读] FD-MobileNet: Improved MobileNet with a Fast Downsampling Strategy

Zheng Qin, Zhang Zhao-ning+2 more|arXiv (Cornell University)|Feb 11, 2018

Advanced Neural Network Applications参考文献 18被引用 14

一句话总结

FD-MobileNet 在 MobileNet 架构内提出一种快速下采样策略，显著提升在极端计算约束（10–140 MFLOPs）下的效率与精度。通过仅用12层实现32×的空间下采样（仅为原始 MobileNet 层数的一半），该方法提升了特征图通道容量，降低 FLOPs，并实现更快的推理速度，在12 MFLOPs时比 MobileNet 提高5.5%的 top-1 准确率，且在 ARM 设备上比 ShuffleNet 快1.82倍。

ABSTRACT

We present Fast-Downsampling MobileNet (FD-MobileNet), an efficient and accurate network for very limited computational budgets (e.g., 10-140 MFLOPs). Our key idea is applying an aggressive downsampling strategy to MobileNet framework. In FD-MobileNet, we perform 32$ imes$ downsampling within 12 layers, only half the layers in the original MobileNet. This design brings three advantages: (i) It remarkably reduces the computational cost. (ii) It increases the information capacity and achieves significant performance improvements. (iii) It is engineering-friendly and provides fast actual inference speed. Experiments on ILSVRC 2012 and PASCAL VOC 2007 datasets demonstrate that FD-MobileNet consistently outperforms MobileNet and achieves comparable results with ShuffleNet under different computational budgets, for instance, surpassing MobileNet by 5.5% on the ILSVRC 2012 top-1 accuracy and 3.6% on the VOC 2007 mAP under a complexity of 12 MFLOPs. On an ARM-based device, FD-MobileNet achieves 1.11$ imes$ inference speedup over MobileNet and 1.82$ imes$ over ShuffleNet under the same complexity.

研究动机与目标

• 为解决在极低计算预算（10–140 MFLOPs）下，MobileNet 因通道宽度过窄导致信息容量受限而引发的性能崩溃问题。
• 在不增加模型复杂度的前提下，提升推理速度与精度，尤其适用于移动与嵌入式设备。
• 克服 MobileNet 中下采样过程过慢的问题，从而在计算预算受限时提升性能。
• 设计一种紧凑网络，在保持高精度的同时，实现比 SOTA 方法（如 ShuffleNet）更快的实际推理速度。

提出的方法

• 提出一种快速下采样策略，仅用12层即可实现32×的空间下采样，而标准 MobileNet 需要24层。
• 在快速下采样后应用深度可分离卷积，以在降低 FLOPs 的同时保持表征能力。
• 在相同 FLOP 预算下，增加早期层的通道数，以增强信息容量。
• 保留 MobileNet 的简单堆叠架构，以确保推理过程中内存与缓存利用的高效性。
• 采用改进的网络设计，提前加速特征图的缩减，使深层网络能更专注于高层次表征，减少空间计算量。
• 使用 NCNN 推理框架，针对基于 ARM 的设备优化架构，以提升实际推理速度。

实验结果

研究问题

• RQ1 在极低计算预算（10–140 MFLOPs）下，快速下采样策略能否提升 MobileNet 的精度？
• RQ2 早期空间缩减是否能在不增加 FLOPs 的前提下提升信息容量与性能？
• RQ3 在真实基于 ARM 的移动设备上，FD-MobileNet 的实际推理速度与 MobileNet 和 ShuffleNet 相比如何？
• RQ4 FD-MobileNet 在 PASCAL VOC 2007 等迁移学习任务（如目标检测）中是否保持了强大的泛化能力？
• RQ5 尽管 FLOP 数相近，ShuffleNet 的实际性能为何会下降？更简单的架构能否缓解此问题？

主要发现

• 在12 MFLOPs 时，FD-MobileNet 在 ImageNet ILSVRC 2012 上比 MobileNet 提高5.5%的 top-1 准确率。
• 在 PASCAL VOC 2007 上，FD-MobileNet 在12 MFLOPs 时 mAP 比 MobileNet 提高3.6%，对 bottle 和 chair 等难分类物体也表现出一致的性能增益。
• 在基于 ARM 的设备上，FD-MobileNet 的推理速度比 MobileNet 快1.11倍，比 ShuffleNet 快1.82倍（在12 MFLOPs 时）。
• 尽管在140 MFLOPs 时 FLOPs 高于 ShuffleNet 0.5×，但 FD-MobileNet 因内存与缓存使用更高效，实际推理速度仍快1.33倍。
• 快速下采样策略在相同 FLOP 预算下提升了通道容量，直接改善了低复杂度场景下的性能表现。
• FD-MobileNet 在迁移学习中表现出强大的泛化能力，在 PASCAL VOC 2007 的多数类别上优于 MobileNet，尤其在低复杂度设置下优势显著。