[論文レビュー] Pruning Filters for Efficient ConvNets

Hao Li, Asim Kadav+3 more|arXiv (Cornell University)|Aug 31, 2016

Advanced Neural Network Applications参考文献 28被引用数 685

ひとこと要約

この論文は、全ての畳み込みフィルター（およびその feature map）を剪定する方法を提案し、疎な接続を導入することなく CNN 推論コストを削減し、精度低下を最小限に抑えつつ FLOP を大幅に削減する。

ABSTRACT

The success of CNNs in various applications is accompanied by a significant increase in the computation and parameter storage costs. Recent efforts toward reducing these overheads involve pruning and compressing the weights of various layers without hurting original accuracy. However, magnitude-based pruning of weights reduces a significant number of parameters from the fully connected layers and may not adequately reduce the computation costs in the convolutional layers due to irregular sparsity in the pruned networks. We present an acceleration method for CNNs, where we prune filters from CNNs that are identified as having a small effect on the output accuracy. By removing whole filters in the network together with their connecting feature maps, the computation costs are reduced significantly. In contrast to pruning weights, this approach does not result in sparse connectivity patterns. Hence, it does not need the support of sparse convolution libraries and can work with existing efficient BLAS libraries for dense matrix multiplications. We show that even simple filter pruning techniques can reduce inference costs for VGG-16 by up to 34% and ResNet-110 by up to 38% on CIFAR10 while regaining close to the original accuracy by retraining the networks.

研究の動機と目的

• CNN 推論コストを精度を保ったまま削減する動機付け。
• 完全なフィルターとそれに対応する feature maps を削除する構造的なワンショット剪定法を提案する。
• 剪定が不規則な疎行を避け、密な BLAS ライブラリで動作することを示す。
• 層ごとの感度とネットワークブロック（例：ResNet ブロック）全体の剪定感度に関する指針を提供する。
• 再訓練を伴う VGG-16 および ResNet アーキテクチャでの FLOPs の実用的削減を示す。

提案手法

• フィルター重みによる L1 ノルムを用いて各フィルターの重要度を計算し、各層で最も重みの低いフィルターを剪定する。
• 一致性を保つため、次の層で対応する feature maps とカーネルを削除する。
• 再訓練時間を節約するため、複数の層にまたがるワンショット剪定と再訓練戦略を採用する。
• 層と段階の剪定感度を分析して剪定率を決定し、感度の高い層の剪定を回避する。
• ResNet の場合、残差/ショートカット接続を尊重するように剪定を行い、投影ショートカット剪定ルールを使用する。
• 多層剪定の独立剪定と貪欲剪定アプローチを比較し、全体的な影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 全フィルター剪定は、一般的なCNNにおいて大きな精度損失を伴わずに FLOPs を大幅に削減できるか？
• RQ2 剪定時に出力精度に最も影響の少ないフィルター（どの基準で）とは何か？
• RQ3 複数の層（および段階を跨いだ剪定）は、層単位剪定と比較してネットワーク性能にどう影響するか？
• RQ4 ResNet の残差ブロックを剪定する際のショートカットの完全性を維持しつつ、実用的な考慮事項は何か？
• RQ5 フィルター単位の剪定と活性化ベースの feature-map 剪定を効果とデータ依存性の点で比較するとどうか？

主な発見

• 小さな値のフィルターを剪定することで、VGG-16 で最大34%、CIFAR-10 の ResNet-110 で最大38%の FLOPs を、再訓練後にほぼ元の精度で削減。
• L1ノルムに基づくフィルタランキングは、CIFAR-10 の VGG-16 に対してランダムや最大フィルター剪定より優れている。
• 多くの層と段階は大幅な剪定に耐えられ、深い段階ほど剪定に対して頑健であることが多い。
• ResNet の残差ブロックは、ショートカット projections に基づく剪定など、特定の戦略で精度を保ちながら計算を削減できる。
• ワンショット剪定とその後の再訓練は、反復的な層ごとの剪定と比較して訓練時間を短縮し、失われた精度を大きく回復できる。
• この研究では、データ依存の統計を用いた活性化ベースの特徴マップ剪定は、単純な L1 ベースのフィルタ剪定より一般的に劣る。