[論文レビュー] An Entropy-based Pruning Method for CNN Compression

Jian-Hao Luo, Jianxin Wu|arXiv (Cornell University)|Jun 19, 2017

Advanced Neural Network Applications参考文献 31被引用数 147

ひとこと要約

本論文はエントロピーベースのフィルタ剪定法を提案し、CNNを高速化・圧縮して中間アクティベーションを削減し、ファインチューニングで精度を維持します。VGG-16とResNet-50で顕著な速度向上と圧縮を実現します。

ABSTRACT

This paper aims to simultaneously accelerate and compress off-the-shelf CNN models via filter pruning strategy. The importance of each filter is evaluated by the proposed entropy-based method first. Then several unimportant filters are discarded to get a smaller CNN model. Finally, fine-tuning is adopted to recover its generalization ability which is damaged during filter pruning. Our method can reduce the size of intermediate activations, which would dominate most memory footprint during model training stage but is less concerned in previous compression methods. Experiments on the ILSVRC-12 benchmark demonstrate the effectiveness of our method. Compared with previous filter importance evaluation criteria, our entropy-based method obtains better performance. We achieve 3.3x speed-up and 16.64x compression on VGG-16, 1.54x acceleration and 1.47x compression on ResNet-50, both with about 1% top-5 accuracy decrease.

研究の動機と目的

• CNNを展開可能なリソース制約デバイスでの計算量とメモリフットプリントを削減する動機付け。
• 活性化チャネル情報量を用いてフィルターの重要性を評価するエントロピー基準を導入する。
• 専門ライブラリを必要とせず、トレーニング時と推論時の両方に適用可能な剪定戦略を開発する。
• 剪定速度と最終モデル精度のバランスを取る学習スケジュールを提案する。
• ImageNet (ILSVRC-12) を用いたVGG-16とResNet-50での有効性を実証する。

提案手法

• グローバル平均プーリング後の活性化チャネルのチャネルごとのエントロピーを計算してフィルターの重要性を推定する。
• エントロピーでフィルターをランク付けし、低エントロピー チャネルと対応する次層チャネルを削除して一定の圧縮率を達成する。
• 剪定したネットワークを微調整して精度を回復し、学習スケジュールを調整してトレーニングを加速する。
• VGG-16の初期畳み込み層を剪定する等、アーキテクチャごとに適切な戦略で剪定する（例：ResNetブロックの中間層を剪定）。
• Baseline（Pruning、APoZ、Taylor展開）と比較し、CUB-200-2011およびIndoor-67でのドメイン適用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー基づく活性化情報はCNNの剪定において重要でないフィルターを効果的に特定できるか？
• RQ2 エントロピー基づく剪定は標準的なCNNの速度、パラメータ数、および中間活性化メモリにどのような影響を与えるか？
• RQ3 剪定後のネットワークはImageNetでの微調整後に競争力のある精度を維持し、他ドメインへ転移できるか？
• RQ4 VGG-16やResNet-50のようなアーキテクチャ間で、剪定速度と最終精度を最適にトレードオフする最良の学習スケジュールは何か？

主な発見

モデル	Top-1	Top-5	速度向上	圧縮
Original	68.36%	88.44%	1x	1x
Pruned-FC	69.12%	88.89%	3.24x	1.05x
Pruned-GAP	66.80%	87.28%	3.30x	16.64x

• エントロピー基づく選択によるVGG-16の剪定は、約1%のTop-5損失で3.3xの速度アップと16.64xの圧縮を達成。
• ResNet-50では本法は約1%のTop-5損失で1.54xの加速と1.47xの圧縮を達成。
• エントロピー基づく剪定はAPoZおよびTaylorベースの基準に対して有利であり、いくつかのベースラインを上回りつつオフ・ザ・シェルフライブラリとの互換性を維持できる。
• 層ごとに段階的に剪定し、各ステップ間に短い微調整を挟む学習スケジュールは、単純な反復剪定と比較してトレーニング時間を著しく短縮しつつ性能を維持する。