[論文レビュー] SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size

Forrest Iandola, Song Han+4 more|arXiv (Cornell University)|Feb 24, 2016

Advanced Neural Network Applications参考文献 40被引用数 5,918

ひとこと要約

SqueezeNetは、AlexNetと同等の精度を達成する軽量な畳み込みニューラルネットワークアーキテクチャであり、パラメータ数を50倍も減らし、モデルサイズを0.5MB未満に抑える。squeeze-and-excite操作を組み合わせたファイアモジュール、バイパス接続、モデル圧縮技術を活用することで、モデルサイズを著しく削減しながら高い精度を維持し、FPGA や組み込みシステムなどのリソース制約のあるデバイスへの効率的なデプロイを可能にする。

ABSTRACT

Recent research on deep neural networks has focused primarily on improving accuracy. For a given accuracy level, it is typically possible to identify multiple DNN architectures that achieve that accuracy level. With equivalent accuracy, smaller DNN architectures offer at least three advantages: (1) Smaller DNNs require less communication across servers during distributed training. (2) Smaller DNNs require less bandwidth to export a new model from the cloud to an autonomous car. (3) Smaller DNNs are more feasible to deploy on FPGAs and other hardware with limited memory. To provide all of these advantages, we propose a small DNN architecture called SqueezeNet. SqueezeNet achieves AlexNet-level accuracy on ImageNet with 50x fewer parameters. Additionally, with model compression techniques we are able to compress SqueezeNet to less than 0.5MB (510x smaller than AlexNet). The SqueezeNet architecture is available for download here: https://github.com/DeepScale/SqueezeNet

研究の動機と目的

• AlexNet よりも顕著に少ないパラメータ数で、同等のImageNet精度を達成するCNNアーキテクチャの設計。
• CNNマイクロアーキテクチャとマクロアーキテクチャの設計空間を調査し、効率的で正確かつコンactなモデルを特定すること。
• FPGA や組み込みシステムなどのメモリ制約のあるハードウェアへのディープラーニングモデルの実用的デプロイを可能にすること。
• 精度を犠牲にせずにパラメータ効率に焦点を当てた、CNNアーキテクチャ設計の体系的アプローチの開発。
• モデル圧縮をアーキテクチャ的イノベーションと効果的に組み合わせ、超コンパクトなモデルを実現できることの実証。

提案手法

• ファイアモジュールをコアとなる構成要素として導入し、1×1畳み込みによるスイーパ層と、混合1×1および3×3畳み込みを用いたエクスパンド層から構成される。
• スイーパレシオ（SR）を0.125として、エクスパンド層の前で特徴マップのチャネル数を8倍に削減し、パラメータ数を最小限に抑える。
• シンプルなバイパス接続と複雑なバイパス接続の両方を採用し、勾配の流れと精度を向上。シンプルなバイパス接続はパラメータを追加しない。
• プルーニング、8ビット整数への量子化、ハフマン符号化を適用することで、SqueezeNetを0.5MB未満に圧縮。
• サイズと精度の最適化を目的として、マイクロアーキテクチャ（レイヤー構成）とマクロアーキテクチャ（ハイレベル構造）の両方における体系的設計空間探索を実施。
• パラメータ効率に焦点を当てつつ性能を維持する、体系的で探索ベースのアーキテクチャ設計アプローチを採用。

実験結果

リサーチクエスチョン

• RQ1 AlexNetと同等のImageNet精度を達成しつつ、顕著に少ないパラメータ数を有するCNNアーキテクチャを設計可能か？
• RQ2 フィルターサイズ、深さ、残差接続といったアーキテクチャ的選択が、モデルサイズと精度に与える影響はいかほどか？
• RQ3 モデル圧縮技術を、SqueezeNetのようなコンパクトなCNNに適用した場合、精度を損なわず、どの程度モデルサイズを削減できるか？
• RQ4 シンプルなバイパス接続と複雑なバイパス接続の違いが、低パラメータ数のCNNにおける精度とパラメータ数に与える影響は？
• RQ5 体系的設計空間探索により、極めて効率的なCNNアーキテクチャを発見できるか？

主な発見

• SqueezeNetはImageNetで57.5％のトップ-1精度を達成し、AlexNetと同等の性能を発揮するが、使用パラメータ数はわずか120万（AlexNetの50分の1）。
• モデル圧縮を適用することで、SqueezeNetは0.5MB未満（非圧縮のAlexNetの510分の1未満）にまで縮小され、自動運転車両におけるオーバー-the-air更新を効率的に行える。
• シンプルなバイパス接続は、モデルサイズに影響を与えずにトップ-1精度を2.9ポイント向上（60.4％）させ、複雑なバイパス接続を上回る性能を示した。
• スイーパ層における1×1畳み込みの使用により、パラメータ数を著しく削減しながらも、表現力は保持された。
• 設計空間の探索から、フィルターサイズ、深さ、残差接続といったアーキテクチャ的選択が、モデルサイズと精度のトレードオフに顕著な影響を与えることが明らかになった。
• SqueezeNetは、オンチップメモリが限られたFPGA（例：8.5MB）上でも、推論中にオフチップメモリアクセスを排除できるため、オンチップデプロイが可能になった。