[論文レビュー] Rethinking Class-Discrimination Based CNN Channel Pruning

Yuchen Liu, David Wentzlaff+1 more|arXiv (Cornell University)|Apr 29, 2020

Adversarial Robustness in Machine Learning参考文献 54被引用数 10

ひとこと要約

この論文は、CNNのチャネルプルーニングのためのクラス判別指標を再評価する新規なチャネルプルーニング手法を提案する。一般化対称発散（G-SD）という一般化された指標を導入し、情報量の多いチャネルの選択において従来手法を上回る性能を発揮する。G-SDとFLOPs正規化された感度解析を組み合わせることで、ImageNet上で44.3%のFLOPs削減を達成しながら、トップ-1精度の低下をたった0.3%に抑え、最先端の性能を達成した。

ABSTRACT

Channel pruning has received ever-increasing focus on network compression. In particular, class-discrimination based channel pruning has made major headway, as it fits seamlessly with the classification objective of CNNs and provides good explainability. Prior works singly propose and evaluate their discriminant functions, while further study on the effectiveness of the adopted metrics is absent. To this end, we initiate the first study on the effectiveness of a broad range of discriminant functions on channel pruning. Conventional single-variate binary-class statistics like Student's T-Test are also included in our study via an intuitive generalization. The winning metric of our study has a greater ability to select informative channels over other state-of-the-art methods, which is substantiated by our qualitative and quantitative analysis. Moreover, we develop a FLOP-normalized sensitivity analysis scheme to automate the structural pruning procedure. On CIFAR-10, CIFAR-100, and ILSVRC-2012 datasets, our pruned models achieve higher accuracy with less inference cost compared to state-of-the-art results. For example, on ILSVRC-2012, our 44.3% FLOPs-pruned ResNet-50 has only a 0.3% top-1 accuracy drop, which significantly outperforms the state of the art.

研究の動機と目的

• 高次元および単変量統計の両方を含む、幅広いクラス判別関数のCNNチャネルプルーニングへの有効性を調査すること。
• 軽量で直感的な方法で、単変量二クラス統計（例：スチューデントのT検定）を多クラス・高次元チャネルスコアリングに一般化すること。
• 等しいFLOPs削減を前提とした層間の冗長性を公平に比較できるように、自動化された階層的プルーニング意思決定を可能にするFLOPs正規化感度解析スキームを開発すること。
• CIFAR-10、CIFAR-100、ILSVRC-2012といった標準ベンチマークで、最小限の精度損失で最先端のモデル圧縮を達成すること。

提案手法

• 単変量二クラス統計（例：スチューデントのT検定）を高次元多クラスチャネルスコアリング関数に一般化し、一般化対称発散（G-SD）を導入する。
• G-SDを用いて、クラス活性化間の分離性が高いかどうかに基づきチャネルをランク付けし、分離性が優れたチャネルを選択する。
• FLOPs正規化感度解析を提案し、等しいFLOPs削減条件下で層間のプルーニング感受性を評価し、自動化された階層的プルーニング意思決定を可能にする。
• G-SDとFLOPs正規化感度解析を統合した包括的なプルーニングパイプラインを構築し、再訓練なしにチャネル選択とプルーニング比の決定を実現する。
• VGGNetおよびResNetアーキテクチャを用い、CIFAR-10、CIFAR-100、ILSVRC-2012に適用し、精度とFLOPs削減率を評価する。
• 再訓練あり・なしのアブレーションスタディを実施し、再訓練の影響とは独立してチャネル選択の質の影響を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 多様なクラス判別指標（一般化された単変量統計および高次元関数を含む）は、CNNチャネルプルーニングにおいてどれほど有効であるか？
• RQ2 スチューデントのT検定のような単変量二クラス統計は、CNNにおける多クラス・高次元チャネルスコアリングに意味的に一般化可能か？
• RQ3 提案されたFLOPs正規化感度解析は、従来手法と比較してより正確で自動化された階層的プルーニング意思決定を可能にするか？
• RQ4 再訓練とは独立して、チャネル選択の質が最終的なプルーニングモデルの精度に与える影響は何か？
• RQ5 提案手法は、多様なベンチマークで精度とFLOPs削減の両面で最先端の性能を達成できるか？

主な発見

• 一般化対称発散（G-SD）指標は、MMDや先行手法を含む他の判別関数と比較して、情報量の多いチャネルの選択において顕著に優れた性能を示した。
• ILSVRC-2012で、FLOPsを44.3%削減したプルーニング済みResNet-50は、トップ-1精度75.85%を達成し、わずか0.3%の精度低下に抑え、最先端の手法を上回った。
• 再訓練なしでも、G-SDはVGG-16（ImageNet）およびResNet-110（CIFAR-10）において、全FLOPs削減比で高い精度を維持し、優れたチャネル選択の質を示した。
• FLOPs正規化感度解析により、性能劣化なしに正確なプルーニングが可能となり、Liらの手法と比較して0.3%の精度低下を示したのに対し、本手法では精度損失がなかった。
• 定性的な分析から、G-SDはℓ1ノルム、バッチノルムスケーリング、幾何学的中央値と比較して、明確なクラス分離性とより判別力のある特徴パターンを持つチャネルを選択していることがわかった。
• 同じFLOPs削減比において、GAL [36]と比較して4%のトップ-1精度向上を達成し、同時に高いスピードアップ比も得られた。