[論文レビュー] Structured Probabilistic Pruning for Convolutional Neural Network Acceleration

Huan Wang, Qiming Zhang+2 more|arXiv (Cornell University)|Sep 20, 2017

Advanced Neural Network Applications参考文献 34被引用数 52

ひとこと要約

SPP は CNN の確率的で構造化された剪定を導入し、剪定確率を段階的に調整してモデルを加速しつつ、以前に剪定された重みの回復を可能にする。AlexNet、VGG-16、ResNet-50 で精度の最小限の損失で顕著な速度向上を達成。

ABSTRACT

In this paper, we propose a novel progressive parameter pruning method for Convolutional Neural Network acceleration, named Structured Probabilistic Pruning (SPP), which effectively prunes weights of convolutional layers in a probabilistic manner. Unlike existing deterministic pruning approaches, where unimportant weights are permanently eliminated, SPP introduces a pruning probability for each weight, and pruning is guided by sampling from the pruning probabilities. A mechanism is designed to increase and decrease pruning probabilities based on importance criteria in the training process. Experiments show that, with 4x speedup, SPP can accelerate AlexNet with only 0.3% loss of top-5 accuracy and VGG-16 with 0.8% loss of top-5 accuracy in ImageNet classification. Moreover, SPP can be directly applied to accelerate multi-branch CNN networks, such as ResNet, without specific adaptations. Our 2x speedup ResNet-50 only suffers 0.8% loss of top-5 accuracy on ImageNet. We further show the effectiveness of SPP on transfer learning tasks.

研究の動機と目的

• モバイル/組込みデプロイメントのために CNN の計算量とストレージを削減しつつ精度を損なわないよう加速を促進する。
• トレーニング中に重みが重要性を取り戻すことを可能にする確率的、構造化剪定フレームワークを提案する。
• 多様なアーキテクチャ（AlexNet、VGG-16、ResNet-50）およびタスク（ImageNet、CIFAR-10、転移学習）における有効性を実証する。
• 標準のディープラーニングツールチェーンと互換性のある構造的疎行列を維持する実用的なガイダンスを提供する。

提案手法

• 各重みグループ（例：重み行列の列）に剪定確率 p を割り当て、p に従ってサンプリングして剪定を行う。
• 重要度基準に基づく競合機構を用いて p を更新し、重みグループの L1 ノルムのランクを用いて Δ(r) を決定する。
• 中心対称指数関数 Δ(r) を用いて剪定増分を制御し、最終段階で正確に RNc グループが剪定されるようにする。
• 予測可能な実行時のために層ごとではなく全層を同時に剪定する；p からモンテカルロサンプリングでマスク g を生成し、訓練中にマスキングを適用する。
• t イテレーションごとに p を更新し、剪定が目標比率 R に到達した後に再訓練して精度を回復する。
• 実用的なアルゴリズム（Algorithm 1）とデフォルトハイパーパラメータ（A=0.05, u=0.25, t=180）を提供する。

実験結果

リサーチクエスチョン

• RQ1 確率的で構造化された剪定（SPP）は、一般的なアーキテクチャとデータセットで CNN を加速し、精度を維持できるか？
• RQ2 剪定確率を回復させる（永久的な早期剪定ではなく）ことは、最終的なモデルの性能を deterministic pruning より改善するか？
• RQ3 SPP はマルチブランチネットワーク（例：ResNet）および転移学習シナリオでどう機能するか？
• RQ4 実ハードウェアで達成可能な実際のスピードアップはどの程度で、理論的な FLOP 減少とどう relate するか？
• RQ5 どの剪定基準と更新スケジュールがアーキテクチャを跨いで堅牢な結果をもたらすか？

主な発見

Method	2x	4x	6x	8x	10x	Increase in Err (%)
TP Molchanov et al. (2017)	3.9	9.2	13.9	-	-	-
FP Li et al. (2017) (impl.)	0.6	4.1	4.7	-	-	-
SSL Wen et al. (2015)	1.3	4.3	5.3	-	-	-
SPP (ours)	0	0.3	1.2	1.5	2.4	-

• SPP は ImageNet で AlexNet を 4 倍 speedup し、top-5 精度の損失は 0.3% のみ。
• SPP は VGG-16 で 4 倍 speedup、top-5 精度の損失は設定に応じて 0.3%～0.8%（2x で 0.3%、4x で 0.8%）に。
• SPP は ResNet-50 で 2 倍 speedup、ImageNet で top-5 精度の損失は 0.8%。
• SPP は特別な adaptations なしにマルチブランチネットワークにも適用可能で、CPU 実装で実用的なスピードアップを示す。
• SPP は転移学習の利点を示し、Oxford Flower-102 の転移タスクで Taylor Pruning を上回る。
• CIFAR-10 と ImageNet に渡って、SPP は一般に同等の速度アップで精度面で競合する構造化剪定法（TP、FP、SSL、CP）を上回る。