[論文レビュー] Dynamic Channel Pruning: Feature Boosting and Suppression

Xitong Gao, Yiren Zhao+3 more|arXiv (Cornell University)|Oct 12, 2018

Speech and Audio Processing参考文献 21被引用数 212

ひとこと要約

本研究は、Feature Boosting and Suppression (FBS) を用いた動的チャンネル剪定法を提案します。FBS は、ランタイム中に顕著な畳み込みチャンネルを予測・増幅し、重要でないチャンネルを抑制しますが、チャンネルを永久に削除することはありません。

ABSTRACT

Making deep convolutional neural networks more accurate typically comes at the cost of increased computational and memory resources. In this paper, we reduce this cost by exploiting the fact that the importance of features computed by convolutional layers is highly input-dependent, and propose feature boosting and suppression (FBS), a new method to predictively amplify salient convolutional channels and skip unimportant ones at run-time. FBS introduces small auxiliary connections to existing convolutional layers. In contrast to channel pruning methods which permanently remove channels, it preserves the full network structures and accelerates convolution by dynamically skipping unimportant input and output channels. FBS-augmented networks are trained with conventional stochastic gradient descent, making it readily available for many state-of-the-art CNNs. We compare FBS to a range of existing channel pruning and dynamic execution schemes and demonstrate large improvements on ImageNet classification. Experiments show that FBS can respectively provide $5 imes$ and $2 imes$ savings in compute on VGG-16 and ResNet-18, both with less than $0.6\%$ top-5 accuracy loss.

研究の動機と目的

• CNN の計算量を永久的なチャンネル削除なしに削減する動機づけ。入力依存の特徴重要度を活用。
• FBS を提案し、実行時に重要なチャンネルを動的に増幅し、重要でないものを抑制する。
• 入力を考慮したチャネルゲーティングによりネットワーク全体の容量を保持しつつ顕著なスピードアップを実現する。
• 標準 SGD で動的メカニズムをエンドツーエンド学習可能にする。
• ImageNet（ResNet-18、VGG-16）と CIFAR-10 における剪定および動的実行のベースラインと比較して、精度/計算のより良いトレードオフを示す。

提案手法

• 前の層の出力から各チャネルのサリエンシーを推定する小さな付加的予測子を導入する。
• 各畳み込み層を、スケーリングとチャンネル出力の潜在抑制を可能にする低オーバーヘッドのポリシー pi(x) によって動的バージョンに置き換える。
• 密度 d がトレードオフを制御する top-dC_l チャンネルを計算するための1-winner-take-allスタイルの関数を用いる。
• 以前の層のサブサンプリングされたアクティベーションから、軽量な全結合層を介してチャネルサリエンシー g_l(x_{l-1}) を予測する。
• 標準 SGD による訓練と、g_l(x_{l-1}) に対するスパース性を誘発する L1 正則化を組み合わせて全体を学習する。
• 畳み込みカーネルをスケーリングに対して不変に保ち、エンドツーエンドの微分可能な学習を可能にするためにバッチ正規化を活用する。

実験結果

リサーチクエスチョン

• RQ1 FBS による動的チャネルゲーティングは、大規模データセットで計算量を削減しつつ精度を損なわないか。
• RQ2 FBS は ImageNet と CIFAR-10 における速度アップと精度の観点で、静的チャンネル剪定および他の動的実行法と比較してどうか。
• RQ3 密度パラメータ d の変化が、異なるアーキテクチャでの精度と MACs にどのような影響を及ぼすか。
• RQ4 入力依存のサリエンシ予測器は、層やモデル間で一般化し、チャネルを効果的に増幅/抑制できるか。
• RQ5 推論中の FBS のメモリと帯域幅への影響はどのようか。

主な発見

• FBS は、ResNet-18 で約2x、VGG-16 で約5xの計算削減を達成し、ImageNet でトップ-5 精度の損失は 0.6% 未満。
• FBS は、同等の速度向上条件下で、ネットワーク剪定ベースライン（例: Network Slimming）を一貫して上回る。
• FBS は入力側・出力側の疎性を有効にすることでメモリアクセスとピークメモリ使用量を削減し、キャッシュ効率を改善する。
• FBS と剪定（NS）を組み合わせると、剪定単独で失われた精度の多くを回復し、好ましい精度/計算のトレードオフを得られる。
• 本手法は標準 SGD で訓練可能で、強化学習やカスタム訓練ループを必要とせず、オープンソースである。