[論文レビュー] Toward Compact Deep Neural Networks via Energy-Aware Pruning

Seul-Ki Yeom, Kyung-Hwan Shim+1 more|arXiv (Cornell University)|Mar 19, 2021

Advanced Neural Network Applications参考文献 50被引用数 8

ひとこと要約

本稿では、特徴マップの特徴量を特徴づける核ノルム（NN）を用いたエネルギーに配慮したフィルタープルーニング手法を提案する。この手法は、特異値分解（SVD）を用いてエネルギーを効率的に定量化し、深層畳み込みニューラルネットワーク（DNN）における最も重要なフィルタを特定・削除する。本手法は、CIFAR-10およびImageNetの複数のアーキテクチャにおいて最先端の性能を達成し、FLOPsを最大76.7%、パラメータを68.6%まで削減しながら、精度の低下を最小限に抑える。

ABSTRACT

Despite the remarkable performance, modern deep neural networks are inevitably accompanied by a significant amount of computational cost for learning and deployment, which may be incompatible with their usage on edge devices. Recent efforts to reduce these overheads involve pruning and decomposing the parameters of various layers without performance deterioration. Inspired by several decomposition studies, in this paper, we propose a novel energy-aware pruning method that quantifies the importance of each filter in the network using nuclear-norm (NN). Proposed energy-aware pruning leads to state-of-the-art performance for Top-1 accuracy, FLOPs, and parameter reduction across a wide range of scenarios with multiple network architectures on CIFAR-10 and ImageNet after fine-grained classification tasks. On toy experiment, without fine-tuning, we can visually observe that NN has a minute change in decision boundaries across classes and outperforms the previous popular criteria. We achieve competitive results with 40.4/49.8% of FLOPs and 45.9/52.9% of parameter reduction with 94.13/94.61% in the Top-1 accuracy with ResNet-56/110 on CIFAR-10, respectively. In addition, our observations are consistent for a variety of different pruning setting in terms of data size as well as data quality which can be emphasized in the stability of the acceleration and compression with negligible accuracy loss.

研究の動機と目的

• 現代の深層ニューラルネットワーク（DNN）における高い計算コストおよびストレージコストを低減すること、特にエッジデプロイメントを念頭に置く。
• 低ランク近似とフィルタ分解に基づく、新たなエネルギーベースの指標を導入することで、従来のプルーニング基準の限界を克服すること。
• 低データ量および低品質データの条件下で効果を発揮する、安定的でデータに強いプルーニング手法を開発すること。
• 多様なアーキテクチャおよびデータセットにおいて、精度、FLOPs、パラメータ削減の観点から最先端の圧縮性能を達成すること。

提案手法

• 各畳み込みフィルタの核ノルム（特異値の和）をSVDを用いて計算し、エネルギー寄与度を定量化する。
• 各レイヤー内のフィルタを核ノルム値の降順にランク付けし、エネルギーが最も低いフィルタから順にプルーニングする。
• プルーニング後にファインチューニングを適用し、精度の回復を図り、性能低下を最小限に抑える。
• 全レイヤーにわたる一貫性のあるグローバルプルーニング比戦略を採用し、体系的な圧縮を可能にする。
• 低ランク近似およびフィルタ分解の知見を活用し、プルーニングをエネルギー保存問題として再定式化する。
• 複数のアーキテクチャ（ResNet、DenseNet、GoogLeNet、VGG）およびデータセット（CIFAR-10、ImageNet）に本手法を適用し、一般化性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 核ノルムに基づくエネルギー定量は、従来の手法と比較して、より効果的かつ安定したフィルタープルーニング基準として機能するか？
• RQ2 提案手法のエネルギーに配慮したプルーニングは、多様なネットワークアーキテクチャおよびデータセットにおいて、精度、FLOPs、パラメータ削減の観点でどの程度の性能を示すか？
• RQ3 データ量やデータ品質の変動（例：過信度の高いまたは不確実なサンプル）に対して、本手法はどの程度のロバストネスを示すか？
• RQ4 過酷な圧縮条件下でも、高い安定性と最小限の精度低下を維持しながら、最先端の性能を達成できるか？
• RQ5 同程度の圧縮比において、エネルギーに配慮したプルーニング手法は、従来のプルーニングベースラインと比較して、モデル性能をよりよく保持できるか？

主な発見

• CIFAR-10のResNet-56では、40.4%のFLOPs削減および45.9%のパラメータ削減を達成し、Top-1精度94.13%を実現し、先行手法を上回る性能を示した。
• CIFAR-10のResNet-110では、FLOPsを49.8%削減、パラメータを52.9%削減しながらも、Top-1精度94.61%を維持した。
• ImageNetのResNet-50では、FLOPsを76.7%、パラメータを68.6%削減し、Top-1精度72.28%を維持。ベースラインから0.89%の精度低下にとどめた。
• GoogLeNetでは、FLOPsを70.4%、パラメータを73.5%削減しながら、Top-1精度95.11%を達成。HRankと比較して1.04%高い精度を実現し、より少ないパラメータ数で性能を上回った。
• アブレーションスタディでは、少サンプル学習やトランスファーラーニングの状況下でも、データ品質や量の変動に対して高い安定性を示した。
• 全評価アーキテクチャおよびデータセットにおいて、精度、FLOPs、パラメータ削減の観点で、従来のプルーニング技術を一貫して上回った。