[論文レビュー] Network Pruning using Adaptive Exemplar Filters

Mingbao Lin, Rongrong Ji+5 more|arXiv (Cornell University)|Jan 20, 2021

Advanced Neural Network Applications参考文献 55被引用数 4

ひとこと要約

EPrunerは、重み行列上でアフィニティプロパゲーションを用いて選択されたアダプティブな例示フィルタを用いる、データに依存しない、CPU効率の良いフィルタプリーニング手法を提案する。人為的なルールや高コストな再訓練を必要とせず、自動的に情報量の多いフィルタを同定することで、VGGNet-16では76.34%のFLOPs削減と0.06%の精度向上を達成し、ResNet-152では65.12%のFLOPs削減とたった0.71%のトップ-5精度低下を実現した。

ABSTRACT

Popular network pruning algorithms reduce redundant information by optimizing hand-crafted models, and may cause suboptimal performance and long time in selecting filters. We innovatively introduce adaptive exemplar filters to simplify the algorithm design, resulting in an automatic and efficient pruning approach called EPruner. Inspired by the face recognition community, we use a message passing algorithm Affinity Propagation on the weight matrices to obtain an adaptive number of exemplars, which then act as the preserved filters. EPruner breaks the dependency on the training data in determining the "important" filters and allows the CPU implementation in seconds, an order of magnitude faster than GPU based SOTAs. Moreover, we show that the weights of exemplars provide a better initialization for the fine-tuning. On VGGNet-16, EPruner achieves a 76.34%-FLOPs reduction by removing 88.80% parameters, with 0.06% accuracy improvement on CIFAR-10. In ResNet-152, EPruner achieves a 65.12%-FLOPs reduction by removing 64.18% parameters, with only 0.71% top-5 accuracy loss on ILSVRC-2012. Our code can be available at https://github.com/lmbxmu/EPruner.

研究の動機と目的

• 構造的フィルタプリーニングにおける手作業で設計されたルールやデータ依存の探索に依存しないこと。
• GPUベースのSOTA手法が数時間かかるのに対し、CPUのみを用いてプリーニング時間を数秒に短縮すること。
• 再訓練やハイパーパramータチューニングなしに、情報量の多いフィルタを堅牢かつアダプティブに選択する方法を確立すること。
• 例示フィルタの重みを引き継ぐことで、微調整のための優れた初期化を提供すること。
• 多様なCNNアーキテクチャにわたる、効率的で自動的かつスケーラブルなモデル圧縮を可能にすること。

提案手法

• 畳み込み層内の各フィルタを類似性グラフ上の高次元データポイントとして扱う。
• 重み行列にアフィニティプロパゲーションのメッセージパッシングアルゴリズムを適用し、人為的なしきい値を必要とせずにアダプティブな例示を同定する。
• アルゴリズム自身が決定する例示の数を用いることで、プリーニング比を手動で指定する必要を排除する。
• 例示フィルタおよびそれに対応するチャネルのみを保持し、残りを破棄する。
• 例示フィルタの重みを微調整の初期化として引き継ぎ、事前学習済みの表現力を利用する。
• プリーニングパイプライン全体をCPU上で実装し、アーキテクチャ選定において1秒未塔の推論時間を達成する。

実験結果

リサーチクエスチョン

• RQ1 データに依存せず、人為的なルールなしに最適な保持フィルタ数を自動で同定できるか？
• RQ2 アフィニティプロパゲーションアルゴリズムは、事前学習済みのCNNから構造的プリーニングに適した高影響力のフィルタを効果的に選択できるか？
• RQ3 例示フィルタの重みを初期化に用いることで、ランダムまたはℓ₁ノルムベースの初期化よりも優れた微調整性能が得られるか？
• RQ4 CPU上でプリーニング処理を数秒に加速でき、かつ精度を維持または向上できるか？
• RQ5 本手法は、さまざまなネットワークアーキテクチャやデータセットにスケーリング可能か？

主な発見

• CIFAR-10を用いたVGGNet-16では、EPrunerがパラメータの88.80%を削減し、FLOPsを76.34%削減したが、元のモデルより0.06%の精度向上を達成した。
• ImageNet-ILSVRC-2012を用いたResNet-152では、EPrunerがFLOPsを65.12%削減し、パラメータを64.18%削減したが、トップ-5精度はたった0.71%低下にとどまった。
• ResNet-152では、EPrunerがCPU上で13秒未塔でアーキテクチャ選定を完了したのに対し、ABCPrunerはGPU上で75,000秒以上を要した。
• EPrunerの例示ベース初期化は、微調整において常にランダム初期化やℓ₁ノルムベース初期化を上回り、優れたウォームアップ品質を示した。
• ハイパーパramータβの影響は、安定範囲（β ∈ [0.72, 0.73]）内では非常に小さく、広範なチューニングなしに信頼性があり予測可能なプリーニングが可能であることがわかった。
• 本手法はVGG、ResNet、GoogLeNetなど複数のアーキテクチャおよびデータセットに対して堅牢であり、一貫した性能向上と効率性の向上を示した。