[論文レビュー] A Deep Neural Network Compression Pipeline: Pruning, Quantization, Huffman Encoding

Song Han, Huizi Mao+1 more|arXiv (Cornell University)|Oct 1, 2015

Advanced Neural Network Applications参考文献 8被引用数 33

ひとこと要約

本論文では、スプライシング、量子化、ハフマン符号化の3段階からなるディープコンPRESSIONパイプラインを提案する。この手法により、精度を損なわずにニューラルネットワークのサイズを35倍から49倍にまで縮小できる。この方法により、CPU、GPU、モバイルGPUプラットフォーム上で、モデルサイズを著しく削減し、推論速度とエネルギー効率を向上させることで、組み込みおよびモバイルシステムへの効率的なデプロイが可能になる。

ABSTRACT

Neural networks are both computationally intensive and memory intensive, making them difficult to deploy on embedded systems with limited hardware resources. To address this limitation, we introduce deep compression, a three stage pipeline: pruning, trained quantization and Huffman coding, that work together to reduce the storage requirement of neural networks by 35x to 49x without affecting their accuracy. Our method first prunes the network by learning only the important connections. Next, we quantize the weights to enforce weight sharing, finally, we apply Huffman coding. After the first two steps we retrain the network to fine tune the remaining connections and the quantized centroids. Pruning, reduces the number of connections by 9x to 13x; Quantization then reduces the number of bits that represent each connection from 32 to 5. On the ImageNet dataset, our method reduced the storage required by AlexNet by 35x, from 240MB to 6.9MB, without loss of accuracy. Our method reduced the size of VGG-16 by 49x from 552MB to 11.3MB, again with no loss of accuracy. This allows fitting the model into on-chip SRAM cache rather than off-chip DRAM memory. Our compression method also facilitates the use of complex neural networks in mobile applications where application size and download bandwidth are constrained. Benchmarked on CPU, GPU and mobile GPU, compressed network has 3x to 4x layerwise speedup and 3x to 7x better energy efficiency.

研究の動機と目的

• リソース制約のある組み込みおよびモバイルシステムに、大規模で計算およびメモリ集約的なニューラルネットワークをデプロイする課題に対処すること。
• モデルの精度を損なわず、ディープニューラルネットワークのストレージ容量を削減すること。
• モデルサイズの最小化により、オンチップSRAMキャッシュの利用を可能にし、遅延の高いオフチップDRAMへの依存度を低下させること。
• モバイルおよびエッジデバイスにおける推論速度とエネルギー効率を向上させること。
• 帯域幅およびストレージ制限のあるモバイルアプリケーションにおいて、複雑なモデルのデプロイを容易にすること。

提案手法

• 重要度に基づくスプライシングを適用し、重要でない接続を削除することで、パラメータ数を9倍から13倍に削減する。
• トレーニング済み量子化を適用し、32ビット浮動小数点重みを5ビット固定小数点表現にマップすることで、重みの共有を強制する。
• スプライシングおよび量子化を施したネットワークを再トレーニングし、残存する接続および量子化された重心を微調整する。
• エントロピー符号化を用いて、量子化された重みをさらに圧縮するため、ハフマン符号化を適用する。
• スプライシング、量子化、ハフマン符号化を統合したパイプラインとして組み合わせ、圧縮効率を最大化する。
• メモリアクセスを最小限に抑え、計算効率を向上させることで、CPU、GPU、モバイルGPUプラットフォームへのデプロイ最適化を行う。

実験結果

リサーチクエスチョン

• RQ1 スプライシング、量子化、エントロピー符号化の組み合わせにより、精度の劣化を伴わずにニューラルネットワークのサイズを35倍以上に圧縮できるか？
• RQ2 圧縮されたモデルが、オフチップDRAMではなくオンチップSRAMに収容できる程度はどの程度か？
• RQ3 圧縮パイプラインが、さまざまなハードウェアプラットフォーム上で推論速度とエネルギー効率にどのように影響を与えるか？
• RQ4 この手法は、AlexNet や VGG-16 といった大規模モデルに対しても、精度を保持したまま効果的に適用可能か？
• RQ5 モバイルおよび組み込み環境において、圧縮比、推論速度、エネルギー効率の間のトレードオフはどのようなものか？

主な発見

• 圧縮パイプラインにより、ImageNetデータセット上でAlexNetのストレージサイズが240MBから6.9MBにまで縮小され、35倍の圧縮が達成されたが、精度に損なわれはなかった。
• 本手法により、VGG-16のサイズは552MBから11.3MBにまで縮小され、49倍の圧縮比が達成されたが、元の精度を維持した。
• 圧縮されたモデルは、CPU、GPU、モバイルGPUプラットフォーム上ですべて3倍から4倍のレイヤーワイズ推論速度の高速化を達成した。
• メモリ帯域幅と計算量の削減のおかげで、同じハードウェアプラットフォーム上でエネルギー効率が3倍から7倍向上した。
• 圧縮されたモデルは、オフチップDRAMではなくオンチップSRAMに格納可能であり、遅延と消費電力の低減が実現された。
• スプライシング、量子化、ハフマン符号化の組み合わせにより、ストレージおよび帯域幅制限のあるモバイルアプリケーションにおける複雑なモデルのデプロイが可能になった。