[論文レビュー] ResNet Can Be Pruned 60x: Introducing Network Purification and Unused Path Removal (P-RM) after Weight Pruning

Xiaolong Ma, Geng Yuan+4 more|arXiv (Cornell University)|Apr 30, 2019

Advanced Neural Network Applications参考文献 14被引用数 6

ひとこと要約

本稿では、ADMMに基づく構造的重み pruning の後に、冗長な重みと使用されないパスを特定・削除することで、精度の低下を最小限に抑えながらResNet-18で最大60×の圧縮を達成するpost-processingフレームワーク、P-RM（Network Purification and Unused Path Removal）を提案する。この手法は、再訓練を必要とせず、ADMM解の非最適性に対処するための新しいアルゴリズムを活用することで、圧縮を向上させる。

ABSTRACT

The state-of-art DNN structures involve high computation and great demand for memory storage which pose intensive challenge on DNN framework resources. To mitigate the challenges, weight pruning techniques has been studied. However, high accuracy solution for extreme structured pruning that combines different types of structured sparsity still waiting for unraveling due to the extremely reduced weights in DNN networks. In this paper, we propose a DNN framework which combines two different types of structured weight pruning (filter and column prune) by incorporating alternating direction method of multipliers (ADMM) algorithm for better prune performance. We are the first to find non-optimality of ADMM process and unused weights in a structured pruned model, and further design an optimization framework which contains the first proposed Network Purification and Unused Path Removal algorithms which are dedicated to post-processing an structured pruned model after ADMM steps. Some high lights shows we achieve 232x compression on LeNet-5, 60x compression on ResNet-18 CIFAR-10 and over 5x compression on AlexNet. We share our models at anonymous link http://bit.ly/2VJ5ktv.

研究の動機と目的

• 深層畳み込みニューラルネットワークにおける極端な構造的重みpruningにおける精度の低下という課題に対処すること。
• DNNの損失関数が非凸であることに起因する、ADMMベースの構造的pruningにおける非最適性を特定・是正すること。
• ADMM最適化後に残存する使用されないパスおよび冗長な重みを同定・削除すること。
• 再訓練を必要とせず、モデルの精度を保持したまま圧縮を最大化するpost-processingフレームワークの開発

提案手法

• ADMMベースの構造的pruningの後に適用する二段階のpost-processingフレームワーク、すなわちネットワークの洗練と使用されないパスの除去（P-RM）を提案する。
• 出力に与える寄与が最小限のフィルターやチャネルの重みを検出・削除するために、フロベニウスノルムのしきい値（Th₁–Th₄）を用いる。
• 全フィルターやその対応するチャネルを、活性化ノルムがしきい値未満である場合に削除する二重pruning戦略を適用する。
• フィルターやその接続されたチャネルを同時に削除することで、使用されないパスを排除する組み合わせ的pruning機構を採用する。
• 構造的および活性化に基づく基準に基づき、冗長な重みを同定・削除する再訓練を伴わない洗練ステップを導入する。
• 初期の構造的pruningにはADMMを活用し、その後P-RMを適用してさらにモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ADMMベースの構造的pruningにおける非最適性は、DNNにおいて体系的に検出・是正可能か？
• RQ2 ADMMベースの構造的pruningが施されたモデルに、使用されないパスや冗長な重みが残存するか？ もし残存するならば、それらを同定・削除可能か？
• RQ3 P-RMのようなpost-processingフレームワークは、精度の低下を伴わず、著しく圧縮率を向上させられるか？
• RQ4 構造的pruningにP-RMを適用した場合、ResNet-18がCIFAR-10で達成可能な最大圧縮比は何か？
• RQ5 複数のアーキテクチャとデータセットにおいて、P-RMは既存手法と比較して、圧縮率と精度のトレードオフにおいて優れているか？

主な発見

• LeNet-5では232×の圧縮が達成され、精度低下は0.7%にとどまり、さらに88×の圧縮では精度の損失はほとんどない。
• CIFAR-10のResNet-18では、精度の著しい低下なしに60×の圧縮が達成され、0.9%の精度低下で52×の圧縮が可能となった。
• CIFAR-10のVGG-16では1%の精度低下で50×の圧縮が達成され、精度損失なしに44×の圧縮が可能となった。
• ImageNetのAlexNetでは圧縮比が4.69×から5.13×に向上し、ResNet-18では3.02×から3.33×に向上したが、精度の低下は最小限であった。
• P-RMフレームワークは、冗長な重みと使用されないパスを効果的に同定・削除し、ADMM単体よりも顕著に圧縮率を向上させた。