[論文レビュー] ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

Xiangyu Zhang, Xinyu Zhou+2 more|arXiv (Cornell University)|Jul 4, 2017

Advanced Neural Network Applications参考文献 66被引用数 882

ひとこと要約

ShuffleNet はモバイル機器向けに非常に効率的な CNN を構築するために、チャネルシャッフル演算を用いたポイントワイズグループ畳み込みを導入し、類似の FLOPs で MobileNet より高い精度を達成し、ARM ハードウェア上で実世界の大幅なスピードアップを実現する。

ABSTRACT

We introduce an extremely computation-efficient CNN architecture named ShuffleNet, which is designed specially for mobile devices with very limited computing power (e.g., 10-150 MFLOPs). The new architecture utilizes two new operations, pointwise group convolution and channel shuffle, to greatly reduce computation cost while maintaining accuracy. Experiments on ImageNet classification and MS COCO object detection demonstrate the superior performance of ShuffleNet over other structures, e.g. lower top-1 error (absolute 7.8%) than recent MobileNet on ImageNet classification task, under the computation budget of 40 MFLOPs. On an ARM-based mobile device, ShuffleNet achieves ~13x actual speedup over AlexNet while maintaining comparable accuracy.

研究の動機と目的

• モバイル機器向けに数十〜数百 MFLOP に及ぶ極めて低い計算予算に最適化した CNN アーキテクチャを設計する。
• 精度を維持しつつ1x1畳み込みの計算量を削減する。
• チャネルグループ間の情報の流れを効果的に確保するためのチャネルシャッフル機構を導入する。
• 最新の軽量モデルと比較して ImageNet および MS COCO で優れた性能を示す。

提案手法

• 1x1 畳み込みのコストを削減するためのポイントワイズグループ畳み込みを提案する。
• 積み重ねられたグループ畳み込み間での情報流を可能にするためにチャネルシャッフルを導入する。
• ボトルネックチャネルに対する depthwise 畳み込みとグループポイントワイズ畳み込みおよびチャネルシャッフルを組み合わせた ShuffleNet ユニットを開発する。
• ShuffleNet を三段階アーキテクチャとして構成し、段階的なダウンサンプリングとボトルネックチャネルをステージ出力チャネルの1/4に設定する。
• FLOPs による計算量を分析し、グループ数 (g) ごとに比較して幅とグループ疎密性のトレードオフを検討する。

実験結果

リサーチクエスチョン

• RQ1 厳密な FLOP 予算の下で、チャネルシャッフルを伴うポイントワイズグループ畳み込みを導入することは、既存の軽量アーキテクチャと比較して精度を改善するか。
• RQ2 グループ数（g）の増減が極小ネットワークの性能にどう影響するか、またチャンネルシャッフルは情報流の潜在的なボトルネックを緩和できるか。
• RQ3 ShuffleNet は ImageNet および MS COCO で、同等またはそれ以下の計算コストで MobileNet より高い精度を達成できるか。
• RQ4 理論的な FLOP 推定値と比較したとき、実際のモバイル端末での実行時間への ShuffleNet の影響はどうか。

主な発見

• ShuffleNet は ImageNet で類似 FLOPs で MobileNet より高い精度を達成、例えば約 40 MFLOP の予算で同程度の条件下で MobileNet より top-1 エラーが 7.8%低い。
• ポイントワイズグループ畳み込みとチャネルシャッフルを組み合わせることで、同じ複雑さのままより広い特徴マップを実現し、特に小型ネットワークで精度を向上させる。
• ShuffleNet 2x (g=3) は 524 MFLOPs で 26.3% の top-1 エラーを達成し、同じ予算下のいくつかのコンパクトアーキテクチャを上回る。
• ARM ベースのモバイルハードウェアで、ShuffleNet は AlexNet に対して約 13 倍の実測スピードアップを達成し、精度は概ね同等（理論的スピードアップは最大 18 倍まで）。
• チャネルシャッフルは特に大きいグループ数（g）を使用した場合に、クロスグループ情報の流れを可能にすることで一貫して性能を向上させる。