[論文レビュー] Convolutional Neural Network Pruning with Structural Redundancy Reduction

Zi Wang, Chengcheng Li+1 more|arXiv (Cornell University)|Apr 8, 2021

Advanced Neural Network Applications参考文献 50被引用数 14

ひとこと要約

本稿では、フィルタの重要度順位付けよりも構造的冗長性低減を優先する、新しいチャネルプルーニング手法を提案する。グラフベースの指標（ℓカバー数と商空間サイズ）を用いて、最も冗長な層を特定し、プルーニングする。実験の結果、SOTAの性能を達成し、ImageNetでResNet50の44.1%のFLOPsを削減しながら、トップ1精度はたった0.37%の低下にとどめる。

ABSTRACT

Convolutional neural network (CNN) pruning has become one of the most successful network compression approaches in recent years. Existing works on network pruning usually focus on removing the least important filters in the network to achieve compact architectures. In this study, we claim that identifying structural redundancy plays a more essential role than finding unimportant filters, theoretically and empirically. We first statistically model the network pruning problem in a redundancy reduction perspective and find that pruning in the layer(s) with the most structural redundancy outperforms pruning the least important filters across all layers. Based on this finding, we then propose a network pruning approach that identifies structural redundancy of a CNN and prunes filters in the selected layer(s) with the most redundancy. Experiments on various benchmark network architectures and datasets show that our proposed approach significantly outperforms the previous state-of-the-art.

研究の動機と目的

• チャネルプルーニングにおいて、最も重要なフィルタをプルーニングすることが最適であるという従来の信念に挑戦すること。
• 理論的および実験的に、構造的冗長性が最も高い層をプルーニングすることで、モデル圧縮と精度保持の両面で優れた結果が得られることを示すこと。
• グラフベースの冗長性測定を用いて、最も冗長な層を特定し、そのフィルタをプルーニングする、レイヤー適応型のプルーニングフレームワークを開発すること。
• 複数のアーキテクチャおよびデータセットにおいて本手法を検証し、一貫したSOTA性能を示すこと。

提案手法

• 各畳み込み層をグラフとしてモデル化し、フィルタをノードとし、特徴マップのコサイン類似度に基づくエッジ重みを設定する。
• 2つのグラフトーリックス的指標（ℓカバー数と商空間サイズ）を用いて、各レイヤーの構造的冗長性を定量化する。
• 全層のフィルタの重要度順位付けに依存せず、最も冗長性スコアが高いレイヤーを選択してプルーニングする。
• 選択されたレイヤー内のフィルタは、単純なマグニチュード基準に基づきプルーニングし、各ステップで再評価された冗長性を反映する。
• グラフの接続性とレイヤーの冗長性推定に影響を与える閾値パラメータγによって、アプローチを制御する。
• ResNet50やAlexNetを含む複数のアーキテクチャで、ImageNetやCIFAR-10といった標準ベンチマークを用いて評価する。

Figure 1: Overall workflow of the proposed approach. The number below each graph refers to the measurement of redundancy, which are just used for the illustration purpose and do not reflect the real measurements of the graphs.

実験結果

リサーチクエスチョン

• RQ1 最も構造的冗長性が高いレイヤーをプルーニングすることで、全層の最も重要なフィルタをプルーニングするのと比較して、より優れた性能が得られるか？
• RQ2 フィルタの重要度スコアに依存せず、グラフベースの構造的冗長性指標が、プルーニングに適したレイヤーを効果的に特定できるか？
• RQ3 フィルタ数、PCA、グラフベースなど、冗長性測定の選択が、プルーニング性能および精度保持に与える影響は何か？
• RQ4 提案手法は、多様なCNNアーキテクチャにおいて、FLOPs削減と精度保持の両面でSOTAの結果を達成できるか？

主な発見

• 最も構造的冗長性が高いレイヤーのフィルタをプルーニングすることは、理論的および実験的に、全層の最も重要なフィルタをプルーニングする手法を大きく上回る性能を示す。
• 提案されたグラフベースの冗長性測定（SRR-GR）は最高の性能を達成し、ResNet50では44.1%のFLOPs削減と同時にImageNetでのトップ1精度は0.37%の低下にとどめる。
• フィルタ数（SRR-NOF）という単純な冗長性指標ですら、最近のSOTA手法と同等の性能を示し、冗長性に基づくプルーニングの核心的洞察を裏付ける。
• PCAベースの冗長性推定（SRR-PCA）を用いることで性能がさらに向上し、FLOPsの44%をプルーニングした際、トップ1およびトップ5精度の低下はそれぞれ0.94%および0.38%にまで低下する。
• 本手法は、冗長性の高いレイヤーに動的にプルーニングを適応させ、AlexNetの初期層など冗長性が低いレイヤーへの不要なプルーニングを回避する。
• ハイパーパrameter γに対して本手法は頑健であり、最適な性能はγ = 0.034で達成され、AlexNetでLayer 3が最も冗長であると正しく特定する。