[论文解读] GhostNetV2: Enhance Cheap Operation with Long-Range Attention

Yehui Tang, Kai Han+4 more|arXiv (Cornell University)|Nov 23, 2022

Advanced Neural Network Applications被引用 277

一句话总结

GhostNetV2 引入一种对硬件友好的解耦全连接（DFC）注意力机制，通过捕捉长距离依赖来增强 GhostNet，在 ImageNet 上以 167 MFLOPs 实现 75.3% 的 top-1 准确率，超过 GhostNetV1。

ABSTRACT

Light-weight convolutional neural networks (CNNs) are specially designed for applications on mobile devices with faster inference speed. The convolutional operation can only capture local information in a window region, which prevents performance from being further improved. Introducing self-attention into convolution can capture global information well, but it will largely encumber the actual speed. In this paper, we propose a hardware-friendly attention mechanism (dubbed DFC attention) and then present a new GhostNetV2 architecture for mobile applications. The proposed DFC attention is constructed based on fully-connected layers, which can not only execute fast on common hardware but also capture the dependence between long-range pixels. We further revisit the expressiveness bottleneck in previous GhostNet and propose to enhance expanded features produced by cheap operations with DFC attention, so that a GhostNetV2 block can aggregate local and long-range information simultaneously. Extensive experiments demonstrate the superiority of GhostNetV2 over existing architectures. For example, it achieves 75.3% top-1 accuracy on ImageNet with 167M FLOPs, significantly suppressing GhostNetV1 (74.5%) with a similar computational cost. The source code will be available at https://github.com/huawei-noah/Efficient-AI-Backbones/tree/master/ghostnetv2_pytorch and https://gitee.com/mindspore/models/tree/master/research/cv/ghostnetv2.

研究动机与目标

• 激励在移动设备上实现高精度的高效图像分类。
• 提升轻量骨干网络的表达能力，同时不牺牲部署速度。
• 在保持对硬件友好计算的同时融入长距离信息。
• 通过利用解耦注意力机制来增强 GhostNet 的扩展特征。

提出的方法

• 提出基于全连接层的 DFC 注意力，分解为水平和垂直分量以产生全局感受野。
• 将特征下采样到一半分辨率以减少 DFC 计算，并上采样到原始大小以进行最终融合。
• 将 DFC 注意力嵌入 GhostNet 块中，通过用 sigmoid 缩放的注意力图乘以扩展的 Ghost 特征。
• 提升 Ghost 模块的扩展特征而不是输出特征以提高表达能力。
• 将 DFC 注意力实现为两个逐通道卷积（1xKH 和 KWx1），以实现高效的硬件友好计算。

实验结果

研究问题

• RQ1 硬件友好的长距离注意力机制是否能提升移动设备上轻量级 CNN 的性能？
• RQ2 通过 DFC 注意力增强 GhostNet 的扩展（表达性）特征是否比提高输出特征带来更大收益？
• RQ3 将 DFC 注意力集成到 GhostNet 中时，准确性与实际延迟之间的取舍是什么？
• RQ4 与此前的轻量骨干相比，GhostNetV2 在 ImageNet、COCO 和 ADE20K 上的表现如何？

主要发现

• GhostNetV2 在 ImageNet 的 top-1 精度为 75.3%，在 167 MFLOPs 下，优于 GhostNetV1 的 74.5% 在相似成本。
• DFC 注意力提供长距离的时空建模，在移动硬件上的实际延迟低于普通自注意力。
• 通过 DFC 注意力增强扩展特征（表达性）比仅增强输出特征带来更大收益（约 1.4% top-1）。
• GhostNetV2 在下游任务包括 COCO 目标检测和 ADE20K 语义分割上表现强劲，相较 GhostNetV1 有显著提升。
• 在 ARM 硬件上实际延迟仍然有利（例如在 167 MFLOPs、相近精度下约 37 ms）。