[論文レビュー] Single-shot Channel Pruning Based on Alternating Direction Method of Multipliers

Chengcheng Li, Zi Wang+2 more|arXiv (Cornell University)|Feb 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 4

ひとこと要約

本稿では、トレーニング中にフィルターレベルのスパarsityを達成するために、交替方向乗数法（ADMM）を用いたワンショットチャネルプルーニング手法を提案する。これにより、一度のプルーニングとファインチューニングが可能となり、複数のアーキテクチャとデータセットにおいて、ターラー展開を含む最先端の反復的プルーニング手法を上回る性能を発揮する。特に高圧縮比において顕著な優位性を示す。

ABSTRACT

Channel pruning has been identified as an effective approach to constructing efficient network structures. Its typical pipeline requires iterative pruning and fine-tuning. In this work, we propose a novel single-shot channel pruning approach based on alternating direction methods of multipliers (ADMM), which can eliminate the need for complex iterative pruning and fine-tuning procedure and achieve a target compression ratio with only one run of pruning and fine-tuning. To the best of our knowledge, this is the first study of single-shot channel pruning. The proposed method introduces filter-level sparsity during training and can achieve competitive performance with a simple heuristic pruning criterion (L1-norm). Extensive evaluations have been conducted with various widely-used benchmark architectures and image datasets for object classification purpose. The experimental results on classification accuracy show that the proposed method can outperform state-of-the-art network pruning works under various scenarios.

研究の動機と目的

• 反復的プルーニングとファインチューニングの必要性を排除するため、ワンショットフレームワークを導入すること。
• ADMMを活用してトレーニング中にチャネルレベルのスパarsityを強制し、フィルターレベルでの構造的スパarsityを実現すること。
• 標準ベンチマーク（MNIST、CIFAR-10）と広く用いられるアーキテクチャ（LeNet-5、AlexNet）を用いて、提案手法の評価を行うこと。
• さまざまな圧縮比において、ワンショットプルーニングの性能を最先端の反復的プルーニング手法と比較すること。
• ADMMがフィルターレベルのスパarsityを誘発し、プルーニング後の一般化性能を向上させる有効性を分析すること。

提案手法

• チャネルレベルのスパarsityを強制するために、増大ラグランジアンの定式化を用いてADMMを用いて深層畳み込みニューラルネットワーク（DCNN）をトレーニングする。
• 指標関数 $ g_i(W_i) $ を用いてフィルターレベルのスパarsity制約を導入し、$ \text{card}(W_i) \leq l_i $ とする。ここで $ l_i $ は各層の残存フィルタ数の目標値である。
• ADMMトレーニング後に、フィルタ重みの $ l_1 $-ノルムに基づくヒューリスティックなプルーニング基準を用いて、重要度が低いフィルタを特定・削除する。
• プルーニング後に、標準的なトレーニング手順を用いて一度のファインチューニングステージを実施し、性能の低下を回復する。
• ADMMフレームワークを用いて、重み $ W $、双対変数 $ Y $、補助変数 $ Z $ を反復的に更新し、制約 $ W = Z $ を交互最小化により強制する。
• プルーニング問題を制約付き最適化として定式化する：損失 $ C(W,D) $ とスパarsity誘導ペナルティ $ \sum g_i(W_i) $ を最小化し、フィルタ数制約に従う。

実験結果

リサーチクエスチョン

• RQ1 ADMMは、トレーニング中にチャネルレベルのスパarsityを効果的に誘発するために使用可能か？
• RQ2 ADMMを用いたワンショットプルーニングは、精度と圧縮効率の面で、既存の反復的プルーニング手法を上回るか？
• RQ3 ADMMトレーニング中にフィルタの $ l_1 $-ノルムはどのように変化するか？また、その変化はフィルタの重要度と相関するか？
• RQ4 ADMMは、標準的なトレーニングと比較して、プルーニング後のネットワークの一般化性能にどのような影響を与えるか？
• RQ5 繰り返しの精錬なしに、高圧縮比でも高い精度を維持できるか？

主な発見

• CIFAR-10におけるAlexNetでは、50%のプルーニング比で77.17%のトップ-1精度を達成し、追加のファインチューニングなしで73.06%、追加のファインチューニングありで75.47%を記録したターラー展開（TE）を上回った。
• 75%のプルーニング比では、提案手法が72.04%の精度を達成したのに対し、TEは追加のファインチューニングなしで62.72%、ありで70.03%であった。
• 87.5%のプルーニング比では、提案手法が64.17%の精度を維持したのに対し、TEは追加のファインチューニングなしで51.83%、ありで60.92%であった。
• ADMMトレーニングにより、多くのフィルタの $ l_1 $-ノルムがほぼゼロに近づくことが確認され、チャネルレベルのスパarsity誘発が有効に行われたことが裏付けられた。
• ADMMトレーニング中、より深い層において $ |W - Z| $ の距離が顕著に減少した。これは、重要度の低いフィルタが効果的にスパース化されたことを示している。
• 事前トレーニング済みのADMMモデルではわずかに低い精度を示したが、ADMM最適化済みモデルからプルーニング後のファインチューニングにより、すべての段階で非ADMMベースラインを上回る一貫した高い精度が得られた。