[論文レビュー] Towards Compact ConvNets via Structure-Sparsity Regularized Filter Pruning

Shaohui Lin, Rongrong Ji+3 more|arXiv (Cornell University)|Jan 23, 2019

Advanced Neural Network Applications被引用数 11

ひとこと要約

本稿では、ℓ₂,₁-および ℓ₂,₀-ノルム正則化子を用いてフィルタ重要度と構造的スパarsityを同時に最適化する構造的スパarsity正則化（SSR）フィルタpruning手法を提案する。これにより、ラグランジュ乗数を用いた交互更新（AULM）ソルバを介して、効率的で構造的なpruningが可能となる。本手法は、VGG-16で最大2.5倍の高速化と15.4倍のメモリ使用量削減を達成しながら、オブジェクト検出やドメイン適応といった転移学習タスクでも高い性能を維持し、最先端の精度を実現した。

ABSTRACT

The success of convolutional neural networks (CNNs) in computer vision applications has been accompanied by a significant increase of computation and memory costs, which prohibits its usage on resource-limited environments such as mobile or embedded devices. To this end, the research of CNN compression has recently become emerging. In this paper, we propose a novel filter pruning scheme, termed structured sparsity regularization (SSR), to simultaneously speedup the computation and reduce the memory overhead of CNNs, which can be well supported by various off-the-shelf deep learning libraries. Concretely, the proposed scheme incorporates two different regularizers of structured sparsity into the original objective function of filter pruning, which fully coordinates the global outputs and local pruning operations to adaptively prune filters. We further propose an Alternative Updating with Lagrange Multipliers (AULM) scheme to efficiently solve its optimization. AULM follows the principle of ADMM and alternates between promoting the structured sparsity of CNNs and optimizing the recognition loss, which leads to a very efficient solver (2.5x to the most recent work that directly solves the group sparsity-based regularization). Moreover, by imposing the structured sparsity, the online inference is extremely memory-light, since the number of filters and the output feature maps are simultaneously reduced. The proposed scheme has been deployed to a variety of state-of-the-art CNN structures including LeNet, AlexNet, VGG, ResNet and GoogLeNet over different datasets. Quantitative results demonstrate that the proposed scheme achieves superior performance over the state-of-the-art methods. We further demonstrate the proposed compression scheme for the task of transfer learning, including domain adaptation and object detection, which also show exciting performance gains over the state-of-the-arts.

研究の動機と目的

• リソース制限環境における非構造的スパースCNNの非効率性とハードウェア非互換性を解消すること。
• FLOPs、メモリ、パラメータ数を同時に削減しながら、モデルの精度を維持するフィルタpruning手法を開発すること。
• 構造的スパarsity正則化を通じて、標準的なディープラーニングライブラリと互換性を持つ効率的で構造的なpruningを可能にすること。
• prunedモデルを用いてドメイン適応やオブジェクト検出といった転移学習タスクでの性能を向上させること。
• グローバル出力とローカルpruning操作を連携させることで、重要フィルタを動的に選択する最適化フレームワークを設計すること。

提案手法

• ℓ₂,₁-および ℓ₂,₀-ノルム正則化子を組み合わせた、新しい構造的スパarsity正則化（SSR）フレームワークを導入し、構造的フィルタpruningを促進する。
• ADMMにインspiredした、ラグランジュ乗数を用いた交互更新（AULM）ソルバを採用。構造的スパarsityの強制と認識損失の最小化を交互に実行する。
• BLASライブラリを介して加速可能なテンソルベースの畳み込み演算を採用し、標準ハードウェア上で効率的な推論を実現する。
• AULMソルバを繰り返し適用し、重要でないフィルタをpruningし、対応する出力特徴マップを削除し、その後続層のフィルタチャネルを更新する。
• 2段階のプロセスを実装：(1) AULMによる適応的フィルタ選択、(2) prunning後のネットワーク微調整により精度を回復。
• LeNet、AlexNet、VGG、ResNet、GoogLeNetなど複数のアーキテクチャおよびImageNet、CUB-200、PASCAL VOCなど複数のデータセットでのデプロイをサポート。

実験結果

リサーチクエスチョン

• RQ1 構造的スパarsity正則化は、精度を損なわず、CNNにおけるFLOPsとメモリ使用量を効果的に削減できるか？
• RQ2 グループスパarsityに基づくpruningのための既存の最適化手法と比較して、AULMソルバは効率性と精度の面で優れているか？
• RQ3 提案されたSSR手法は、ドメイン適応やオブジェクト検出といった転移学習シナリオでも高い性能を維持できるか？
• RQ4 グローバル出力とローカルフィルタpruningの共同最適化は、独立したフィルタ選択よりも優れた一般化性能をもたらすか？
• RQ5 構造的pruningは、標準的なディープラーニングライブラリと互換性を保ちつつ、モデルサイズと推論時間をどの程度削減できるか？

主な発見

• SSR-L2,1-GAP手法は、CUB-200でわずか880万パラメータと44億FLOPsでTop-1誤差29.55%を達成し、VGG-16と比較してメモリコストが15.4倍低減され、理論的高速化は3.5倍に達する。
• PASCAL VOC 2007では、Titan X GPU上で2.45倍の推論速度向上を達成し、mAPの低下はたった0.3%にとどまり、ランダム法、L1法、APoZ法を上回る性能を示した。
• AULMソルバは、グループスパarsity正則化を直接解く最近の手法よりも2.5倍高速であり、効率的な最適化を可能にした。
• prunedモデルは転移学習でも優れた性能を維持し、CUB-200で微調整した際の誤差上昇が最も小さく（1.95%）、SSR-L2,1-GAPが最も優れた性能を示した。
• 複数のアーキテクチャおよびデータセットにおいて、最先端のフィルタpruning手法と比較して優れた精度を達成した。
• 構造的スパarsityアプローチにより、同時にフィルタ数と出力特徴マップ数を削減することで、メモリ軽量な推論が可能となった。