[论文解读] GhostNet: More Features from Cheap Operations

Kai Han, Yunhe Wang+4 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Neural Network Applications参考文献 63被引用 112

一句话总结

本论文提出 Ghost 模块，通过廉价的线性运算生成更多特征图，使 GhostNet 在同等成本的轻量模型中拥有更优的性能，同时参数量更少。它展示了对现有 CNN 的即插即用适用性，以及在 ImageNet 和 COCO 上的强结果。

ABSTRACT

Deploying convolutional neural networks (CNNs) on embedded devices is difficult due to the limited memory and computation resources. The redundancy in feature maps is an important characteristic of those successful CNNs, but has rarely been investigated in neural architecture design. This paper proposes a novel Ghost module to generate more feature maps from cheap operations. Based on a set of intrinsic feature maps, we apply a series of linear transformations with cheap cost to generate many ghost feature maps that could fully reveal information underlying intrinsic features. The proposed Ghost module can be taken as a plug-and-play component to upgrade existing convolutional neural networks. Ghost bottlenecks are designed to stack Ghost modules, and then the lightweight GhostNet can be easily established. Experiments conducted on benchmarks demonstrate that the proposed Ghost module is an impressive alternative of convolution layers in baseline models, and our GhostNet can achieve higher recognition performance (e.g. $75.7\%$ top-1 accuracy) than MobileNetV3 with similar computational cost on the ImageNet ILSVRC-2012 classification dataset. Code is available at https://github.com/huawei-noah/ghostnet

研究动机与目标

• 通过挖掘特征图的冗余性来推动移动/设备上的高效 CNN 设计。
• 提出 Ghost 模块，以少量内在特征图和廉价运算生成大量伪影特征图。
• 证明 Ghost 模块可以替代现有架构中的标准卷积，形成一个轻量而精准的网络（GhostNet）。
• 在 ImageNet 分类和 MS COCO 目标检测上，与现有最先进的紧凑模型相比，验证性能提升。

提出的方法

• 将一个标准卷积分解为产生内在特征图的主卷积和一组廉价线性变换以生成伪影特征图。
• 在 Ghost 瓶颈中使用两个 Ghost 模块，其中第一个扩展通道，第二个缩减以匹配快捷方式，形成一个 Ghost 瓶颈（G-bneck）。
• 用 Ghost 瓶颈替换类似 MobileNetV3 架构中的瓶颈块，构建 GhostNet。
• 在 GhostNet 中，将主卷积核设为 1x1，使用 s=2（每个块生成 n/s 个内在映射），深度方向变换的 d=3。
• 可选地对某些残差路径应用 Squeeze-and-Excite（SE）模块。
• 提供一个宽度放大系数 alpha 来缩放 GhostNet 的复杂度。

实验结果

研究问题

• RQ1 两阶段的 Ghost 模块（内在映射再加廉价线性变换）是否能在保持准确性的同时降低计算量？
• RQ2 将 Ghost 瓶颈集成到类似 MobileNetV3 的骨干网中，是否在 ImageNet 和 COCO 上相对于最先进的紧凑模型有更优的准确性/效率权衡？
• RQ3 超参数 s（内在映射的扩展）和 d（线性变换的卷积核大小）如何影响基准数据集的准确性和 FLOPs？

主要发现

• Ghost 模块在 CIFAR-10、ImageNet 和 COCO 基准测试上显著降低 FLOPs 和参数量，同时保持或提升准确性。
• 在 ImageNet 分类上，GhostNet 在相似的计算成本下，在多个复杂度水平上实现比 MobileNetV3 更高的 top-1 准确率（例如 GhostNet-1.0x 实现 73.9% 的 top-1，约 141 MFLOPs）。
• GhostNet 的宽度放大倍数高达 1.3x 时，在 ~226 MFLOPs 下达到 75.7% 的 top-1 准确率，优于若干紧凑架构。
• 为了移动端的实际速度，GhostNet 相比在 ARM/TF Lite 基准测试中具有相似准确度水平的 MobileNetV3 实现，实际推理更快。
• 在 COCO 目标检测中，基于 GhostNet 的骨干网络在与 MobileNetV2/V3 骨干相比的情况下，提供具有竞争力的 mAP（例如 26.6-26.9%，约 164-300 MFLOPs）。
• GhostNet 展示出强烈的特征图高效性，通过部分替代传统卷积为廉价线性变换实现了显著提升。