[論文レビュー] Learning Efficient Convolutional Networks through Network Slimming

Zhuang Liu, Jianguo Li+4 more|arXiv (Cornell University)|Aug 22, 2017

Advanced Neural Network Applications参考文献 32被引用数 269

ひとこと要約

この論文は Network Slimming を紹介します。BN のスケーリング係数に対する L1 正則化を適用することでチャネルレベルのスパース性を学習し、重要でないチャネルの自動剪定を可能にし、特別なハードウェアを用いずに精度を維持・向上させたままコンパクトな CNN を実現します。VGGNet、ResNet、DenseNet に対して CIFAR、SVHN、ImageNet で最大 20x のモデルサイズ削減と約 5x の FLOPs 削減を示します。

ABSTRACT

The deployment of deep convolutional neural networks (CNNs) in many real world applications is largely hindered by their high computational cost. In this paper, we propose a novel learning scheme for CNNs to simultaneously 1) reduce the model size; 2) decrease the run-time memory footprint; and 3) lower the number of computing operations, without compromising accuracy. This is achieved by enforcing channel-level sparsity in the network in a simple but effective way. Different from many existing approaches, the proposed method directly applies to modern CNN architectures, introduces minimum overhead to the training process, and requires no special software/hardware accelerators for the resulting models. We call our approach network slimming, which takes wide and large networks as input models, but during training insignificant channels are automatically identified and pruned afterwards, yielding thin and compact models with comparable accuracy. We empirically demonstrate the effectiveness of our approach with several state-of-the-art CNN models, including VGGNet, ResNet and DenseNet, on various image classification datasets. For VGGNet, a multi-pass version of network slimming gives a 20x reduction in model size and a 5x reduction in computing operations.

研究の動機と目的

• リソース制約環境でモデルサイズ、実行時メモリ、計算コストによる大規模 CNN のデプロイ課題を動機づける。
• チャネル単位の剪定で自動的にネットワークをスリム化する、シンプルでアーキテクチャに依存しないトレーニング手法を提案する。
• チャネルレベルのスパース性が複数のアーキテクチャとデータセットにおいて、パラメータ数と FLOPs を大幅に削減し、精度を維持または向上させることを示す。

提案手法

• 各 BN 層の出力に対してチャネルごとのスケーリング係数 gamma を付与し、W（重み）と Gamma を L1 稀疎化ペナルティ付きで訓練する。
• L1 regularization を用いて Gamma の値をゼロへ近づけ、重要でないチャネルを自動的に識別可能にする。
• 全レイヤを横断するグローバル分位点閾値を使用して near-zero Gamma 値を持つチャネルを剪定し、得られた狭いモデルをファインチューニングする。
• ネットワークアーキテクチャを変更せず、スパース計算ライブラリを必要とせずに BN のスケーリング係数を直接剪定信号として活用する。
• オプションとして、さらなる圧縮を得るためにマルチパス方式で処理を繰り返す。
• クロスレイヤ接続やプレアクティベーション構造を持つネットワークに対しては、レイヤーごとに入力チャネルを剪定し、推論時にチャネル選択を適用して剪定を適合させる。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に学習されたチャネルレベルのスパース性は、精度を損なうことなくモデルサイズ、メモリ占有、FLOPs を大幅に削減できるか。
• RQ2 ネットワークスリムニングは、さまざまな CNN アーキテクチャ（VGGNet、ResNet、DenseNet）およびデータセット（CIFAR-10/100、SVHN、ImageNet）でどれほど効果的か。
• RQ3 スパース性正則化の強さと剪定割合が最終的な精度とリソース削減に及ぼす実際の影響は。
• RQ4 マルチパス剪定は単一パスと比較して圧縮と精度の点でどう異なるか。

主な発見

• Network slimming は、複数のアーキテクチャとデータセットにおいて、ほとんどまたは全く精度を失わずに大幅なリソース削減を達成する。
• 多くの場合、ファインチューニング後にチャネルの剪定を最大で 60-70% まで行っても、精度を維持または向上させることができる。
• CIFAR-10/SVHN では、パラメータ削減が最大約 10x、FLOP 削減が約 50% 程度で、精度を維持。
• ImageNet では、チャネルの 50% を剪定するとパラメータ削減が 5x 以上となり、FLOP 削減が最大約 30%、VGG-A では精度の損失なし。
• L1 稀疎化による正則化効果は汎化性能を向上させることがあり、剪定とファインチューニング後にテスト誤差が低下することがある。
• マルチパスのスリム化は、いくつかのモデルとデータセットでさらなる圧縮と精度向上をもたらす。