[論文レビュー] Exploiting Kernel Sparsity and Entropy for Interpretable CNN Compression

Yuchao Li, Shaohui Lin+6 more|arXiv (Cornell University)|Dec 11, 2018

Advanced Neural Network Applications参考文献 46被引用数 8

ひとこと要約

本稿では、対応する2次元カーネルのスパarsityとエントロピーを用いて入力特徴マップの重要性を定量化することで、解釈可能で新しいCNN圧縮手法であるKSE（Kernel Sparsity and Entropy）を提案する。KSEに基づくカーネルクラスタリングにより、効率的でレイヤー単位かつ高精度の圧縮が可能となり、ImageNet 2012でTop-5精度が0.35%低下するのみで、ResNet-50では4.7倍のFLOPs削減と2.9倍のモデル圧縮を達成した。

ABSTRACT

Compressing convolutional neural networks (CNNs) has received ever-increasing research focus. However, most existing CNN compression methods do not interpret their inherent structures to distinguish the implicit redundancy. In this paper, we investigate the problem of CNN compression from a novel interpretable perspective. The relationship between the input feature maps and 2D kernels is revealed in a theoretical framework, based on which a kernel sparsity and entropy (KSE) indicator is proposed to quantitate the feature map importance in a feature-agnostic manner to guide model compression. Kernel clustering is further conducted based on the KSE indicator to accomplish high-precision CNN compression. KSE is capable of simultaneously compressing each layer in an efficient way, which is significantly faster compared to previous data-driven feature map pruning methods. We comprehensively evaluate the compression and speedup of the proposed method on CIFAR-10, SVHN and ImageNet 2012. Our method demonstrates superior performance gains over previous ones. In particular, it achieves 4.7 imes FLOPs reduction and 2.9 imes compression on ResNet-50 with only a Top-5 accuracy drop of 0.35% on ImageNet 2012, which significantly outperforms state-of-the-art methods.

研究の動機と目的

• 既存のCNN圧縮手法に見られる解釈不能性の問題、特にネットワーク構造内の暗黙の冗長性を区別できない点に対処すること。
• 理論的裏付けがあり、特徴に依存しない指標として、畳み込み層における入力特徴マップの重要性を定量化すること。
• 提案されたKSE指標に従ってカーネルクラスタリングを実施することで、残差ネットワークにおけるアーキテクチャの不整合を回避し、効率的で高精度なCNN圧縮を実現すること。
• 全訓練セットにおけるデータ駆動型特徴マップ計算に依存せずに、優れた圧縮と高速化を達成すること。
• CIFAR-10、SVHN、ImageNet 2012で最先端の性能を示し、精度の低下を最小限に抑えること。

提案手法

• 入力特徴マップとそれに対応する2次元畳み込みカーネルとの間の理論的枠組みを提示し、スパarsityと情報豊かさが特徴マップの重要性の主要な指標であることを明らかにする。
• カーネルスパarsity（受容 field の密度を表す）とカーネルエントロピー（空間的情報分布を表す）を組み合わせた複合指標として、Kernel Sparsity and Entropy（KSE）指標を導入する。
• KSE指標に基づくカーネルクラスタリングを適用し、1つの入力特徴マップあたりの2次元カーネル数を削減することで、レイヤー単位の構造的圧縮を可能にする。
• 標準的な畳み込みを2段階に分割：入力特徴マップごとの2次元畳み込みと、チャネルごとの加算。これにより、各マップごとに独立してカーネルプルーニングが可能になる。
• 圧縮の細粒度を制御するパラメータGを用い、細かめから粗めのプルーニング戦略を柔軟に設定できる。
• カーネルクラスタリング後に数エポックのファインチューニングを実施し、精度を回復させる。

実験結果

リサーチクエスチョン

• RQ1 2次元カーネルのスパarsityと情報豊かさを併用することで、特徴に依存せず解釈可能な入力特徴マップの重要性指標を構築できるか？
• RQ2 KSE指標は、カーネルスパarsityやエントロピー単体と比較して、有効なCNN圧縮をどのように効果的に導くか？
• RQ3 KSEに基づくカーネルクラスタリングは、特に残差ネットワークにおいて、高い圧縮率と高速化を実現しながらモデル精度を維持できるか？
• RQ4 KSE指標に基づくカーネルクラスタリングにおいて、精度と効率のバランスを最適化するための最適な圧縮細粒度Gは何か？
• RQ5 データ駆動型の活性化に基づくプルーニング手法と比較して、KSEベースの手法は、速度、精度、FLOPs削減の面で優れているか？

主な発見

• 提案されたKSE指標は、カーネルスパarsityやエントロピー単体と比較して優れた性能を示し、G=4の条件下でResNet-56においてカーネルスパarsityを上回る0.52%のTop-1精度向上を達成した。
• ImageNet 2012において、本手法はResNet-50で4.7倍のFLOPs削減と2.9倍のモデル圧縮を達成し、Top-5精度はわずか0.35%低下した。
• CIFAR-10のDenseNet-40では、3.37Mパラメータで73.03%のTop-1精度を達成し、高いコンパクト性を示した。
• 本手法は、全バッチ特徴マップ計算を回避するため、データ駆動型特徴マッププルーニング手法よりも圧倒的に速い圧縮が可能である。
• 可視化結果から、KSE値が低いほど情報量の少ない特徴マップであることが確認され、本手法が冗長なマップを正確に同定できることを裏付けた。
• 本手法はResNets や DenseNets といった現代的なアーキテクチャとも互換性があり、フィルターや特徴マップの削除に起因する次元の不整合を回避できる。