[論文レビュー] NISP: Pruning Networks using Neuron Importance Score Propagation

Ruichi Yu, Ang Li+7 more|arXiv (Cornell University)|Nov 16, 2017

Advanced Neural Network Applications参考文献 38被引用数 62

ひとこと要約

NISPはCNNを、最終応答の重要度スコアをネットワーク全体へ逆伝播させて重要でないニューロンを特定・除去することで剪定し、精度の低下を最小に抑えつつ高速かつ小型のモデルを提供する。

ABSTRACT

To reduce the significant redundancy in deep Convolutional Neural Networks (CNNs), most existing methods prune neurons by only considering statistics of an individual layer or two consecutive layers (e.g., prune one layer to minimize the reconstruction error of the next layer), ignoring the effect of error propagation in deep networks. In contrast, we argue that it is essential to prune neurons in the entire neuron network jointly based on a unified goal: minimizing the reconstruction error of important responses in the "final response layer" (FRL), which is the second-to-last layer before classification, for a pruned network to retrain its predictive power. Specifically, we apply feature ranking techniques to measure the importance of each neuron in the FRL, and formulate network pruning as a binary integer optimization problem and derive a closed-form solution to it for pruning neurons in earlier layers. Based on our theoretical analysis, we propose the Neuron Importance Score Propagation (NISP) algorithm to propagate the importance scores of final responses to every neuron in the network. The CNN is pruned by removing neurons with least importance, and then fine-tuned to retain its predictive power. NISP is evaluated on several datasets with multiple CNN models and demonstrated to achieve significant acceleration and compression with negligible accuracy loss.

研究の動機と目的

• 最終応答の再構成誤差（FRL）を最小化することにより、レイヤーごとではなく全体のニューロンネットワークにわたる剪定を動機づける。
• FRLの重要度をすべてのニューロンへ伝播するための Neuron Importance Score Propagation (NISP) を導入する。
• 剪定を二値化最適化として定式化し、ニューロン重要度の閉形式解を導出する。
• 事前に各層の剪定比を定義した上で、バックプロパゲーションに基づく高速な剪定法と微調整を提供し、精度を回復する。

提案手法

• 特徴量ランク付け法（Inf-FS）を用いて最終応答層の重要度を測定する。
• FRLから前の層へニューロン重要度スコアを伝播させるために、閉形式の伝播規則を用いた後方伝搬で伝播する。
• 剪定をプリュエッドネットワークに対するFRLの重み付き再構成誤差を最小化する二値最適化として定式化し、上限ベースの解を導出する。
• 伝播されたスコアに従い、事前に定義された各層の剪定比でニューロン/チャネルを剪定し、剪定後のモデルを微調整する。
• 適切にニューロン/チャネル重要度を集約して、さまざまな層タイプ（全結合および畳み込み）を扱う。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク全体に伝播された最終応答の重要度に基づく剪定は、レイヤーごとまたは値ベースの剪定よりも精度を良く保持できるか。
• RQ2 標準的なCNNにおけるNISPで、競争力のある精度を保ちながらFLOPsとパラメータをどれだけ削減できるか。
• RQ3 深いアーキテクチャ全体で剪定のためのグローバルなニューロン重要度スコアを計算するには、1回の後向き伝搬で足りるか。

主な発見

• NISPはMNIST、CIFAR-10、ImageNetで顕著な加速と圧縮を達成し、精度損失はほとんどない。
• ランダム剪定やゼロからの訓練と比較して、NISPは精度をより良く保ち、ファインチューニング時の収束が速い。
• NISPは値ベースの剪定およびレイヤーごと剪定を上回り、特にネットワークの深さが増すにつれて再構成誤差の伝播が減少するため優れている。
• AlexNetではNISP系は最大 ~67.85% FLOPs削減を達成し、トップ1精度損失はわずか1.43%、ResNet-56では ~43.61% FLOPs削減でほぼゼロに近い精度損失。
• NISPはGoogLeNet (Inceptionモジュール)およびResNet-34/50でFLOPsとパラメータ削減を大幅に達成し、精度への影響は小さい。