[論文レビュー] GhostNetV2: Enhance Cheap Operation with Long-Range Attention

Yehui Tang, Kai Han+4 more|arXiv (Cornell University)|Nov 23, 2022

Advanced Neural Network Applications被引用数 277

ひとこと要約

GhostNetV2は、長距離依存を捉えるハードウェアに優しいデカップルド全結合（DFC）注意機構を導入し、GhostNetを強化します。ImageNetでのトップ1精度75.3%を167 MFLOPで達成し、GhostNetV1を上回ります。

ABSTRACT

Light-weight convolutional neural networks (CNNs) are specially designed for applications on mobile devices with faster inference speed. The convolutional operation can only capture local information in a window region, which prevents performance from being further improved. Introducing self-attention into convolution can capture global information well, but it will largely encumber the actual speed. In this paper, we propose a hardware-friendly attention mechanism (dubbed DFC attention) and then present a new GhostNetV2 architecture for mobile applications. The proposed DFC attention is constructed based on fully-connected layers, which can not only execute fast on common hardware but also capture the dependence between long-range pixels. We further revisit the expressiveness bottleneck in previous GhostNet and propose to enhance expanded features produced by cheap operations with DFC attention, so that a GhostNetV2 block can aggregate local and long-range information simultaneously. Extensive experiments demonstrate the superiority of GhostNetV2 over existing architectures. For example, it achieves 75.3% top-1 accuracy on ImageNet with 167M FLOPs, significantly suppressing GhostNetV1 (74.5%) with a similar computational cost. The source code will be available at https://github.com/huawei-noah/Efficient-AI-Backbones/tree/master/ghostnetv2_pytorch and https://gitee.com/mindspore/models/tree/master/research/cv/ghostnetv2.

研究の動機と目的

• 携帯端末での強力な精度を持つ効率的な画像分類を動機づける。
• デプロイ速度を犠牲にすることなく、軽量バックボーンの表現力を向上させる。
• 長距離情報を組み込みつつハードウェアに優しい計算を維持する。
• 拡張された特徴を強化するデカップルド注意機構を活用してGhostNetを強化する。

提案手法

• 横成分と縦成分に分解された全結合層に基づくDFC注意を提案し、グローバル受容野を生成する。
• DFC計算を半分の解像度にダウンサンプリングして計算量を削減し、最終融合のために元のサイズにアップサンプリングする。
• 拡張されたGhost特徴量とシグモイドスケーリングされた注意マップを掛け合わせることでGhostNetブロックにDFC注意を埋め込む。
• 出力特徴よりも拡張特徴の表現力を向上させることで、表現力を改善する。
• DFC注意を2つの深さ方向畳み込み（1×KHとKW×1）として実現し、ハードウェアに優しい計算を実現する。

実験結果

リサーチクエスチョン

• RQ1 ハードウェアに優しい長距離注意機構はモバイル端末上の軽量CNNの性能を改善できるか？
• RQ2 DFC注意によって拡張（表現力のある）特徴を強化することは、出力特徴を強化するよりも大きな利得をもたらすか？
• RQ3 DFC注意をGhostNetに組み込む際の精度と実用的遅延のトレードオフはどのようになるか？
• RQ4 GhostNetV2は従来の軽量バックボーンと比較してImageNet、COCO、ADE20Kの各データセットでどのような性能を示すか？

主な発見

• GhostNetV2はImageNetでトップ1精度75.3%を167 MFLOPで達成し、同程度のコストのGhostNetV1の74.5%を上回る。
• DFC注意は、モバイルハードウェア上での従来の自己注意よりも低い実用的遅延で長距離の空間モデリングを提供する。
• 拡張特徴（表現力）をDFC注意で強化すると、出力特徴のみを強化するよりも大きな利得（約1.4%のトップ1）を生む。
• GhostNetV2はCOCOの物体検出やADE20Kのセマンティックセグメンテーションを含む下流タスクで強力な性能を発揮し、GhostNetV1より顕著な改善を示す。
• ARMハードウェア上で実用的な遅延は良好なままであり、例えば167 MFLOPsで同等の精度の場合約37 ms程度。