[論文レビュー] RepGhost: A Hardware-Efficient Ghost Module via Re-parameterization

Chengpeng Chen, Zichao Guo+3 more|arXiv (Cornell University)|Nov 11, 2022

Advanced Neural Network Applications被引用数 31

ひとこと要約

RepGhostは連結ベースの特徴再利用を構造的再パラメータ化に置換し、ハードウェアに優しいRepGhostモジュールとRepGhostNetを構築して、モバイルデバイス上の精度-遅延を改善します。

ABSTRACT

Feature reuse has been a key technique in light-weight convolutional neural networks (CNNs) architecture design. Current methods usually utilize a concatenation operator to keep large channel numbers cheaply (thus large network capacity) by reusing feature maps from other layers. Although concatenation is parameters- and FLOPs-free, its computational cost on hardware devices is non-negligible. To address this, this paper provides a new perspective to realize feature reuse implicitly and more efficiently instead of concatenation. A novel hardware-efficient RepGhost module is proposed for implicit feature reuse via reparameterization, instead of using concatenation operator. Based on the RepGhost module, we develop our efficient RepGhost bottleneck and RepGhostNet. Experiments on ImageNet and COCO benchmarks demonstrate that our RepGhostNet is much more effective and efficient than GhostNet and MobileNetV3 on mobile devices. Specially, our RepGhostNet surpasses GhostNet 0.5x by 2.5% Top-1 accuracy on ImageNet dataset with less parameters and comparable latency on an ARM-based mobile device. Code and model weights are available at https://github.com/ChengpengChen/RepGhost.

研究の動機と目的

• 軽量CNNにおける連結を超えたハードウェア効率の良い特徴再利用を動機づける。
• 重み空間の融合を通じて暗黙的な特徴再利用を実現するRepGhostモジュールを提案する。
• GhostモジュールをRepGhostモジュールに置換してRepGhostNetを構築し、モバイルデバイス上で評価する。
• ImageNetおよびCOCOタスクで精度-遅延の改善トレードオフを示す。

提案手法

• 特徴再利用のための連結と加算演算のハードウェアコストを比較分析する。
• Ghostモジュールの連結を加算に置換し、再構成して再パラメータ化規則を満たす。
• 融合より前にReLUを移動して構造的再パラメータ化を満たし、重み空間で訓練時の多様性を融合可能にする。
• 恒等ブランチにBNを導入し推論時に結合してRepGhostモジュールを形成する。
• 入力/出力チャネルを揃えたままGhostボトルネックをRepGhostボトルネックに置換し、RepGhostNetを形成する。
• ImageNet分類とCOCO検出/セグメンテーションで評価し、再パラメータ化構造とショートカットのアブレーションも行う。

実験結果

リサーチクエスチョン

• RQ1 構造的再パラメータ化による特徴再利用は、Ghostベースのアーキテクチャにおける連結と比べてハードウェアコストを削減するか？
• RQ2 RepGhostモジュールは、モバイルハードウェア上で同等またはより良い精度を、低遅延で達成できるか？
• RQ3 訓練時の多様性と推論時の効率性を最もよく支える再パラメータ化構造はどれか？
• RQ4 RepGhostNetのような超軽量CNNでもショートカットは有益か？

主な発見

• ARMモバイルのレイテンシで、RepGhostNetはGhostNetおよびMobileNetV3より優れた精度-遅延のトレードオフを達成する。
• RepGhostNet 0.5xはImageNetでTop-1精度が0.5%高く、GhostNet 0.5xより20%速い。
• RepGhostNet 1.0xはMobileNetV3 Large 0.75xより14%速く、Top-1精度が0.7%高い。
• RepGhostNet 0.58xはImageNetでGhostNet 0.5xをTop-1で2.5%上回る。
• COCOでは、RepGhostNetはMobileNetV2、MobileNetV3、GhostNetを上回る推論速度を示す。例えばRepGhostNet 1.3xはGhostNetのベースラインより高いmAPを達成する。
• アブレーション研究はBNベースの再パラメータ化が最良の性能を示し、ReLUを後ろへ移動すると融合を可能にし、ショートカットは小型モデルで依然有益である。