[論文レビュー] Exploiting Channel Similarity for Accelerating Deep Convolutional Neural Networks

Yunxiang Zhang, Chenglong Zhao+3 more|arXiv (Cornell University)|Aug 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 5

ひとこと要約

本稿では、活性化パターンが類似するチャネルをクラスタリングすることで、冗長な特徴チャネルを特定・削除する類似度ベースのチャネルプルーニング手法を提案する。確率的距離尺度を用いることで、安定性を確保する。この手法は、ImageNet において30%のFLOPs削減を達成し、ResNet-50ではトップ5精度がたった0.34%低下するという、最先端の高速化性能を達成した。

ABSTRACT

To address the limitations of existing magnitude-based pruning algorithms in cases where model weights or activations are of large and similar magnitude, we propose a novel perspective to discover parameter redundancy among channels and accelerate deep CNNs via channel pruning. Precisely, we argue that channels revealing similar feature information have functional overlap and that most channels within each such similarity group can be removed without compromising model's representational power. After deriving an effective metric for evaluating channel similarity through probabilistic modeling, we introduce a pruning algorithm via hierarchical clustering of channels. In particular, the proposed algorithm does not rely on sparsity training techniques or complex data-driven optimization and can be directly applied to pre-trained models. Extensive experiments on benchmark datasets strongly demonstrate the superior acceleration performance of our approach over prior arts. On ImageNet, our pruned ResNet-50 with 30% FLOPs reduced outperforms the baseline model.

研究の動機と目的

• 重み・活性化の類似度が高い状況下で、大きさに基づくプルーニング手法が、大きさの差異が不足するため失敗するという限界を解消する。
• チャネルの機能的冗長性を、重みの大きさではなく、特徴表現の類似度に基づいて特定する。
• 微調整やスパarsity制約なしに、事前学習済みモデルに直接適用可能な、データに依存しない安定なチャネルプルーニング手法を開発する。
• 冗長なチャネルを削除しつつ表現力の維持を図ることで、効率的かつ一般化可能なモデル高速化を実現する。
• チャネル類似度推定のための確率的モデリングアプローチを導入することで、活性化に基づく距離計算の不安定性を克服する。

提案手法

• 特徴チャネル間の期待平均二乗誤差に基づく確率的距離尺度を用いて、チャネル類似度を定義し、データ依存性を低減する。
• ガウス分布を仮定した下で、活性化差の期待値を用いてチャネル距離を推定することで、データに依存しない安定な類似度計算を実現する。
• 類似したチャネルをグループ化するため、階層的クラスタリングを適用し、正規化された距離行列に対するグローバルなしきい値によってプルーニングをガイドする。
• 層ごとの距離行列を正規化することで、ネットワーク全体の深さにわたるプルーニングのバランスを保ち、上位層での過剰なプルーニングを防ぐ。
• 階層的クラスタリングの出力を用いて、冗長なチャネルのクラスタを完全に削除し、各グループから代表となる1つのチャネルのみを保持する。
• 微調整やスパarsity正則化なしに、事前学習済みモデルに直接適用可能であり、即時の展開が可能となる。

実験結果

リサーチクエスチョン

• RQ1 重みの大きさではなく、特徴表現の類似度に基づいて、チャネルの冗長性を効果的に同定できるか？
• RQ2 データに依存しない、確率的モデリングによるチャネル距離尺度は、活性化に基づく距離計算よりも安定的かつ信頼性が高いか？
• RQ3 類似したチャネルを階層的クラスタリングすることで、大きさに基づくまたはヒューリスティックなプルーニングと比較して、より優れたFLOPs削減と最小限の精度低下が達成できるか？
• RQ4 距離行列の正規化は、ネットワーク層間でのプルーニングのバランスと全体的なモデル性能にどのように影響するか？
• RQ5 この手法は、微調整やアーキテクチャの変更なしに、事前学習済みモデルをどの程度高速化できるか？

主な発見

• 提案手法は、ImageNet においてResNet-50で45.90%のFLOPs削減を達成し、トップ5精度はたった0.34%低下するが、5つの競合手法をすべて上回る性能を示した。
• CIFAR-10では、FLOPsを80%まで削減しながら、精度の低下は最小限に抑えられ、異なる入力バッチ間でも安定した性能を維持した。
• 確率的距離推定法は、活性化に基づく距離計算とほぼ同等の平均性能を示したが、有意に低い分散と不安定性を示した。
• 距離行列の正規化により、上位層での過剰なプルーニングが防止され、バランスの取れた効率的なアーキテクチャ圧縮が可能になった。
• この手法は、高いプルーニング比や小さなバッチサイズ下でも、安定性に欠ける活性化ベース手法とは異なり、優れた性能を維持した。
• 階層的クラスタリングアプローチは、代表的なチャネルを保持することで、表現力にほとんど影響を与えず、複数のベンチマークで一貫した精度を確認できた。