[論文レビュー] GhostNet: More Features from Cheap Operations

Kai Han, Yunhe Wang+4 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Neural Network Applications参考文献 63被引用数 112

ひとこと要約

この論文は Ghost モジュールを導入し、安価な線形演算からより多くの特徴マップを生成することで GhostNet が同程度のコストの軽量モデルを上回り、パラメータ数を減らすことを実証します。既存のCNNへのプラグアンドプレイ適用性と ImageNet および COCO での強力な結果を示します。

ABSTRACT

Deploying convolutional neural networks (CNNs) on embedded devices is difficult due to the limited memory and computation resources. The redundancy in feature maps is an important characteristic of those successful CNNs, but has rarely been investigated in neural architecture design. This paper proposes a novel Ghost module to generate more feature maps from cheap operations. Based on a set of intrinsic feature maps, we apply a series of linear transformations with cheap cost to generate many ghost feature maps that could fully reveal information underlying intrinsic features. The proposed Ghost module can be taken as a plug-and-play component to upgrade existing convolutional neural networks. Ghost bottlenecks are designed to stack Ghost modules, and then the lightweight GhostNet can be easily established. Experiments conducted on benchmarks demonstrate that the proposed Ghost module is an impressive alternative of convolution layers in baseline models, and our GhostNet can achieve higher recognition performance (e.g. $75.7\%$ top-1 accuracy) than MobileNetV3 with similar computational cost on the ImageNet ILSVRC-2012 classification dataset. Code is available at https://github.com/huawei-noah/ghostnet

研究の動機と目的

• モバイル/デバイス上での効率的な CNN 設計を特徴マップの冗長性を利用して推進する。
• few intrinsic maps から安価な操作で多くの特徴マップを生成する Ghost モジュールを提案する。
• Ghost モジュールが既存アーキテクチャの標準畳込みを置換し、軽量でありながら高精度なネットワーク（GhostNet）を形成できることを示す。
• ImageNet 分類と MS COCO 物体検出で最先端のコンパクトモデルと比較した性能向上を検証する。

提案手法

• 標準畳み込みを、 intrinsic feature maps を生成する主要畳込みと、ghost 特徴マップを生成する安価な線形変換のセットに分解する。
• Ghost ボトルネックごとに二つの Ghost モジュールを用い、最初にチャンネルを拡張し、二番目にショートカットに合わせて縮小して Ghost ボトルネック（G-bneck）を形成する。
• MobileNetV3 風のアーキテクチャのボトルネックブロックを Ghost ボトルネックに置換して GhostNet を構築する。
• GhostNet では主要畳込みのカーネルサイズを 1x1 に設定し、s=2（ブロック毎に n/s intrinsic maps を生成）、深さ方向の変換の深さを d=3 とする。
• 特定の残差経路に対して Squeeze-and-Excite (SE) モジュールを任意に適用する。
• GhostNet の複雑さをスケールさせるための幅乗数 alpha を提供する。

実験結果

リサーチクエスチョン

• RQ1 二段階 Ghost モジュール（intrinsic maps と安価な線形変換）で計算量を削減しつつ精度を維持できるか。
• RQ2 MobileNetV3 系列バックボーンに統合された Ghost ボトルネックは、最先端のコンパクトモデルと比較して ImageNet および COCO で優れた精度-効率のトレードオフをもたらすか。
• RQ3 ハイパーパラメータ s（ intrinsic maps の拡張）と d（線形変換のカーネルサイズ）が、評価指標と FLOPs にどのような影響を与えるか。

主な発見

• Ghost モジュールは CIFAR-10、ImageNet、COCO のベンチマークにおいて、精度を維持または向上させつつ FLOPs とパラメータ数を大幅に削減できる。
• ImageNet 分類では、GhostNet は同程度の計算コストで複数の複雑度レベルで MobileNetV3 より高いトップ-1 精度を達成する（例: GhostNet-1.0x は約141 MFLOPs でトップ-1 73.9% を達成）。
• GhostNet は幅乗数を 1.3x まで拡張すると約226 MFLOPs で 75.7% のトップ-1 精度を達成し、いくつかの軽量アーキテクチャより上回る。
• モバイル対応の高速化の面で、同程度の精度レベルでの実際の推論速度が、ARM/TF Lite ベンチマークで同等の MobileNetV3 実装より速くなる。
• COCO 物体検出では、GhostNet ベースのバックボーンが MobileNetV2/V3 のバックボーンと比較して競争力のある mAP を提供する（例: 26.6-26.9%、約164-300 MFLOPs）。
• GhostNet は特徴マップの効率性を高く示し、従来の畳み込みの一部を安価な線形変換で代替することで顕著な利得を得られることを示す。