[論文レビュー] SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size

Forrest Iandola, Song Han+4 more|arXiv (Cornell University)|Feb 24, 2016

Anomaly Detection Techniques and Applications被引用数 662

ひとこと要約

SqueezeNetは50倍 fewer パラメータでImageNetにおいてAlexNetレベルの精度を達成し、モデルサイズを0.5MB未満に圧縮します。論文はまた、コンパクトCNNのマイクロおよびマクロ設計空間を分析します。

ABSTRACT

Recent research on deep neural networks has focused primarily on improving accuracy. For a given accuracy level, it is typically possible to identify multiple DNN architectures that achieve that accuracy level. With equivalent accuracy, smaller DNN architectures offer at least three advantages: (1) Smaller DNNs require less communication across servers during distributed training. (2) Smaller DNNs require less bandwidth to export a new model from the cloud to an autonomous car. (3) Smaller DNNs are more feasible to deploy on FPGAs and other hardware with limited memory. To provide all of these advantages, we propose a small DNN architecture called SqueezeNet. SqueezeNet achieves AlexNet-level accuracy on ImageNet with 50x fewer parameters. Additionally, with model compression techniques we are able to compress SqueezeNet to less than 0.5MB (510x smaller than AlexNet). The SqueezeNet architecture is available for download here: https://github.com/DeepScale/SqueezeNet

研究の動機と目的

• ImageNetでAlexNetレベルの精度を維持しつつ、はるかに少ないパラメータを持つCNNアーキテクチャを識別する。
• パラメータ数を減らす設計ブロック（Fireモジュール）と設計戦略を提案する。
• 圧縮の潜在能力を評価し、サイズと精度に対するマイクロ/マクロ設計の影響を理解する。
• principled なコンパクトCNN設計のための設計空間の指針を提供するため、デザイン空間を探索する。

提案手法

• 1x1 squeeze層をフィードする squeeze-expand ブロックとしてFireモジュールを導入する（1x1と3x3の展開層）。
• 設計戦略を適用：3x3を1x1フィルターに置換、squeeze層を介して3x3フィルタの入力チャネルを削減、ダウンサンプリングを遅らせて大きな活性化マップを維持。
• 8つのFireモジュールと後期プーリングを備え、全結合層を削除したSqueezeNetアーキテクチャを構築する。
• ReLU活性化で訓練し、Fire9後にドロップアウトを適用し、特定の学習率スケジュールを用いる；展開モジュールを2つの並列畳込み層（1x1と3x3）として結合する。
• AlexNetのベースラインと従来の圧縮法と比較し、モデルサイズと精度を評価する；超小型モデルを達成するためにDeep Compressionを適用する。

実験結果

リサーチクエスチョン

• RQ1 パラメータが著しく少ないCNNはImageNetでAlexNetレベルの精度に匹敵できるか？
• RQ2 精度を落とさずパラメータ数を最も削減する設計選択（Fireモジュール、squeeze比、1x1対3x3の混合、ダウンサンプリングスケジュール）はどれか？
• RQ3 ポストホック圧縮（量子化/プルーニング）はSqueezeNetのような極端にコンパクトなCNNにどのような影響を与えるか？
• RQ4 バイパス接続などのマクロアーキテクチャの変更は、コンパクトCNNの精度とサイズにどのように影響するか？

主な発見

Architecture	Compression Approach	Data Type	Original -> Compressed Model Size	Reduction in Model Size vs. AlexNet	Top-1 ImageNet Accuracy	Top-5 ImageNet Accuracy
AlexNet	None	32 bit	240MB	1x	57.2%	80.3%
AlexNet	SVD Denton et al. (2014)	32 bit	240MB -> 48MB	5x	56.0%	79.4%
AlexNet	Network Pruning Han et al. (2015b)	32 bit	240MB -> 27MB	9x	57.2%	80.3%
AlexNet	Deep Compression Han et al. (2015a)	5-8 bit	240MB -> 6.9MB	35x	57.2%	80.3%
SqueezeNet (ours)	None	32 bit	4.8MB	50x	57.5%	80.3%
SqueezeNet (ours)	Deep Compression	8 bit	4.8MB -> 0.66MB	363x	57.5%	80.3%
SqueezeNet (ours)	Deep Compression	6 bit	4.8MB -> 0.47MB	510x	57.5%	80.3%

• SqueezeNetはパラメータを50倍削減し、ImageNetでAlexNetレベルのTop-1/Top-5精度を達成（57.5% / 80.3%）。
• Deep Compression（8ビット、6ビット）によりSqueezeNetは0.66MB（363x）および0.47MB（510x）に圧縮可能で、ベースライン精度を維持または超過。
• マクロアーキテクチャのバイパス接続（シンプル/バイパス）は、モデルサイズを増やすことなくTop-1を最大約2.9ポイント改善。
• マイクロアーキテクチャの探索により、SRと3x3混合を調整した場合、Top-5精度が86.0%、サイズが19MBのときに最大となり、4.8MBのベースラインはAlexNetレベル。
• SqueezeNetモデルサイズはFPGA/組込み展開とOver-the-Air更新に非常に有利となる。