[論文レビュー] CUP: Cluster Pruning for Compressing Deep Neural Networks

Rahul Duggal, Cao Xiao+2 more|arXiv (Cornell University)|Nov 19, 2019

Advanced Neural Network Applications参考文献 21被引用数 9

ひとこと要約

CUP（クラスタープルーニング）は、重み接続特徴に基づいてフィルタをクラスタリングすることで、1つのハイパーパrameter $ t $ を用いてレイヤーワイズ非一様プルーニングを可能にするチャネルプルーニング手法である。この手法は、ImageNetで2.2倍のFLOPs削減を達成し、トップ5精度が1%未満の低下に抑えられる最先端の圧縮性能を発揮する。CUP-SSは初期学習中にワンショットプルーニングを統合することで、学習時間を14時間以上短縮する。

ABSTRACT

We propose Cluster Pruning (CUP) for compressing and accelerating deep neural networks. Our approach prunes similar filters by clustering them based on features derived from both the incoming and outgoing weight connections. With CUP, we overcome two limitations of prior work-(1) non-uniform pruning: CUP can efficiently determine the ideal number of filters to prune in each layer of a neural network. This is in contrast to prior methods that either prune all layers uniformly or otherwise use resource-intensive methods such as manual sensitivity analysis or reinforcement learning to determine the ideal number. (2) Single-shot operation: We extend CUP to CUP-SS (for CUP single shot) whereby pruning is integrated into the initial training phase itself. This leads to large savings in training time compared to traditional pruning pipelines. Through extensive evaluation on multiple datasets (MNIST, CIFAR-10, and Imagenet) and models(VGG-16, Resnets-18/34/56) we show that CUP outperforms recent state of the art. Specifically, CUP-SS achieves 2.2x flops reduction for a Resnet-50 model trained on Imagenet while staying within 0.9% top-5 accuracy. It saves over 14 hours in training time with respect to the original Resnet-50. The code to reproduce results is available.

研究の動機と目的

• 各レイヤーの最適なスパarsityを決定する課題に取り組む。これは、各レイヤーごとのハイパーパrameterを用いる場合、しばしば解けないものである。
• 一様なプルーニングの限界と高コストな感度分析を克服し、各レイヤーごとに自動的かつ非一様なフィルタープルーニングを可能にする。
• プルーニングを初期学習フェーズに統合することで、再学習を不要とし、学習時間を大幅に短縮する。
• 複数のモデルとデータセットにおいて、最小限の精度劣化で最先端の圧縮効率を達成する。

提案手法

• 入力および出力の重み接続特徴から得られる情報を用いて、各レイヤーのフィルタをクラスタリングする。
• 1つのハイパーパrameter $ t $ を用いてプルーニングの閾値を制御し、各レイヤーでどのくらいのフィルタをプルーニングするかを自動的に決定する。
• 階層的クラスタリングを用いてフィルタをグループ化し、類似度に基づいて完全なクラスタを削除することで、ネットワーク性能を維持する。
• CUPをCUP-SS（ワンショット）に拡張する。プルーニングを初期学習ループに統合し、各エポックの前にCUPを呼び出して、段階的にモデルをプルーニングする。
• ハイパーパramータ $ k $（勾配）と $ b $（オフセット）で制御される線形プルーニングスケジュールを用い、学習中に段階的にフィルタ数を減少させる。
• フィルタの類似度と学習の進行状況に応じて、動的にプルーニング強度を調整することで、モデル精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 1つのハイパーパrameterが、各レイヤーの非一様なプルーニングを制御しつつ、高いモデル精度を維持できるか？
• RQ2 手動による感度分析と比較して、クラスターベースのプルーニングは、各レイヤーの最適なフィルタープルーニングをどのように特定するか？
• RQ3 初期学習フェーズに統合されたプルーニング（CUP-SS）は、モデル性能を損なわず、学習時間をどの程度短縮できるか？
• RQ4 異なるモデルとデータセットにおいて、プルーニングが推論速度の向上とFLOPs削減に与える影響は何か？
• RQ5 ワンショットプルーニングスケジュールにおけるハイパーパramータ $ k $ と $ b $ は、最終的なモデル精度と圧縮効率にどのように影響を与えるか？

主な発見

• ResNet-50をImageNetで学習する際、CUP-SSは元のモデルと比較して14時間以上の学習時間を短縮し、2.2倍のFLOPs削減を達成したが、トップ5精度は0.88%の低下に抑えられた。
• ImageNetでResNet-50を用いたCUPは、2.2倍のFLOPs削減を達成し、元のモデルと比較してトップ5精度が0.9%以内の範囲に収まった。
• CIFAR-10でVGG-16を用いた場合、CUPは $ t = 1 $ 時に最大4.6倍の推論速度向上を達成し、顕著な効率向上を示した。
• この手法は手動による感度分析と強く相関しており、VGG-16の例では、後段のレイヤー（例：レイヤー8〜14）が前段のレイヤーよりもより積極的にプルーニング可能であることを自動で同定した。
• アブレーションスタディの結果、CUP-SSにおける中間のプルーニングレート（$ k \approx 0.01 $ から $ 0.05 $）が、過剰プルーニングや不十分なプルーニングを避ける観点で最良の精度をもたらした。
• CUPは1つのハイパーパrameterを用いて、ResNet-50でトップ1精度を1.27%低下させながらも、2.47倍のFLOPs削減を達成し、圧縮効率において先行研究を上回った。