[論文レビュー] ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression

Jian-Hao Luo, Jianxin Wu+1 more|arXiv (Cornell University)|Jul 20, 2017

Advanced Neural Network Applications参考文献 29被引用数 104

ひとこと要約

ThiNet は次の層の統計を使用してどのフィルターを剪定するかを決定するフィルターレベルの剪定フレームワークを導入し、ImageNet のモデル（VGG-16 や ResNet-50 など）で最小限の精度損失で同時の加速と圧縮を実現します。

ABSTRACT

We propose an efficient and unified framework, namely ThiNet, to simultaneously accelerate and compress CNN models in both training and inference stages. We focus on the filter level pruning, i.e., the whole filter would be discarded if it is less important. Our method does not change the original network structure, thus it can be perfectly supported by any off-the-shelf deep learning libraries. We formally establish filter pruning as an optimization problem, and reveal that we need to prune filters based on statistics information computed from its next layer, not the current layer, which differentiates ThiNet from existing methods. Experimental results demonstrate the effectiveness of this strategy, which has advanced the state-of-the-art. We also show the performance of ThiNet on ILSVRC-12 benchmark. ThiNet achieves 3.31$ imes$ FLOPs reduction and 16.63$ imes$ compression on VGG-16, with only 0.52$\%$ top-5 accuracy drop. Similar experiments with ResNet-50 reveal that even for a compact network, ThiNet can also reduce more than half of the parameters and FLOPs, at the cost of roughly 1$\%$ top-5 accuracy drop. Moreover, the original VGG-16 model can be further pruned into a very small model with only 5.05MB model size, preserving AlexNet level accuracy but showing much stronger generalization ability.

研究の動機と目的

• リソース制約のあるデバイスへ展開するための CNN モデルの圧縮を動機づける。
• フィルタ剪定による同時の加速と圧縮のための統一フレームワーク（ThiNet）を提案する。
• 次の層の統計に基づく最適化問題として、フィルタ剪定を正式に定義する。
• 大規模ベンチマーク（ImageNet）と転移学習シナリオで有効性を実証する。

提案手法

• ネットワーク構造を変更せずにフィルタレベルで剪定し、市販ライブラリとの互換性を可能にする。
• 慎重さ: 次の層からの情報に基づいてフィルターを剪定し、出力を近似する。
• 剪定を導くために、次の層の入力と出力を関連付ける訓練例を収集する。
• チャネル選択を組合せ最適化問題として定式化し、貪欲アルゴリズムで解く。
• 任意で、最小二乗リウェイトで剪定を改良し、微調整の初期化を改善する。
• 剪定後に微調整を行い性能を回復し、層ごとに繰り返す。

実験結果

リサーチクエスチョン

• RQ1 ある層の剪定判断を現在の層の統計ではなく次の層の統計によって確実に導けるか。
• RQ2 データ駆動型の貪欲チャネル選択法は、重要でないフィルターを特定するのにどれほど効果的か。
• RQ3 ThiNet の剪定は、ImageNet のような大規模ベンチマークや転移学習タスクにおいてモデルサイズ、FLOPs、精度にどのような影響を与えるか。

主な発見

モデル	Top-1	Top-5	#Param.	#FLOPs	f./b. (ms)
オリジナル	68.34%	88.44%	138.34M	30.94B	189.92/407.56
ThiNet-Conv	69.80%	89.53%	131.44M	9.58B	76.71/152.05
ゼロから訓練	67.00%	87.45%	131.44M	9.58B	76.71/152.05
ThiNet-GAP	67.34%	87.92%	8.32M	9.34B	71.73/145.51
ThiNet-Tiny	59.34%	81.97%	1.32M	2.01B	29.51/55.83

• VGG-16 の場合、ThiNet は 3.31× FLOPs 削減と 16.63× 圧縮を達成し、Top-5 精度の低下は 0.52% にとどまる。
• ResNet-50 の場合、ThiNet はパラメータと FLOPs の半分以上を削減し、Top-5 精度の低下は約 1% である。
• 剪定された VGG-16 は 5.05 MB に縮小でき、AlexNet レベルの精度を維持しつつ転移タスクで一般化が改善される。
• ThiNet-Tiny はパラメータ削減が大幅で (~1.32M)、競争力のある精度を維持し、非常にコンパクトなモデルを実現する。
• 他の剪定基準と比較して、ThiNet は同等かそれ以上の圧縮率でより高い精度を達成する。