[論文レビュー] SCSP: Spectral Clustering Filter Pruning with Soft Self-adaption Manners

Huiyuan Zhuo, Xuelin Qian+3 more|arXiv (Cornell University)|Jun 14, 2018

Video Surveillance and Tracking Methods参考文献 9被引用数 32

ひとこと要約

本稿では、スペクトルクラスタリングを用いて冗長なフィルタをグループ化し、微調整中に段階的に重要度の低いグループを削除するソフト自己適応を組み合わせた、CNN圧縮のための新規なフィルタプリンニング手法SCSPを提案する。LeNet-5において、精度に影響を与えることなく最大18.13%のパラメータ削減と6.42%のFLOPs削減を達成し、グループ単位でのプリンニングと段階的フィルタ更新によってモデル容量を維持する。

ABSTRACT

Deep Convolutional Neural Networks (CNN) has achieved significant success in computer vision field. However, the high computational cost of the deep complex models prevents the deployment on edge devices with limited memory and computational resource. In this paper, we proposed a novel filter pruning for convolutional neural networks compression, namely spectral clustering filter pruning with soft self-adaption manners (SCSP). We first apply spectral clustering on filters layer by layer to explore their intrinsic connections and only count on efficient groups. By self-adaption manners, the pruning operations can be done in few epochs to let the network gradually choose meaningful groups. According to this strategy, we not only achieve model compression while keeping considerable performance, but also find a novel angle to interpret the model compression process.

研究の動機と目的

• 高い計算コストとメモリコストのため、リソース制約のあるエッジデバイスへの深層CNNの導入に課題が生じる。
• 従来のフィルタプリンニング手法がフィルタを個別に扱うのに対し、フィルタ間の内在的相関を活用することでその限界を克服する。
• 特徴グループの整合性を保持し、微調整時の収束を高速化できる構造的プリンニングアプローチを開発する。
• スペクトルクラスタリングに基づくフィルタのクラスタリングにより、モデル圧縮のためのより解釈可能で効果的なメカニズムを提供する。

提案手法

• フィルタの特徴類似度に基づき、層ごとにスペクトルクラスタリングを適用して冗長なフィルタをグループ化し、プリンニング問題をグラフ分割問題に変換する。
• フィルタ類似度から導出されるラプラシアン行列を用いて固有ベクトルを計算し、k-meansを用いて関連するフィルタグループを形成する。
• 重みベースの重要度スコアを用いて最終出力への寄与度を評価し、影響が小さいグループを全グループとしてプリンニングする。
• 微調整中に繰り返しフィルタを更新することでソフト自己適応を実装し、モデル精度を維持する。
• プリンニングプロセスをトレーニングループに統合し、冗長なフィルタグループを段階的・適応的に削除可能にする。
• フィルタの内在的構造を活用することで、冗長性を低減しつつ、重要な特徴表現を保持する。

実験結果

リサーチクエスチョン

• RQ1 スペクトルクラスタリングは、フィルタの内在的構造的関係を捉えることで、CNN層内の冗長なフィルタグループを効果的に同定できるか？
• RQ2 個々のフィルタではなく、相関のあるフィルタグループ全体をプリンニングすることで、精度の低下を抑えつつより効果的なモデル圧縮が達成できるか？
• RQ3 微調整中にソフト自己適応を適用することで、グループプリンニング後の性能回復が、特に深層ネットワークにおいて有効に機能するか？
• RQ4 既存のフィルタプリンニングベースラインと比較して、本手法はパラメータ削減、FLOPs削減、精度保持の観点で優れているか？

主な発見

• プリーニング比0.4のLeNet-5において、SCSPは18.13%のパラメータ削減と6.42%のFLOPs削減を達成したが、テスト精度は71.09%を維持し、1.04%の精度損失を生じたCGESを上回った。
• ResNet-32では、12.10%のパラメータ削減と11.3%のFLOPs削減を達成し、精度低下はわずか0.04%にとどまり、深層アーキテクチャにおける有効性を示した。
• スペクトルクラスタリングによるフィルタグループの相関関係の保持により、収束が速く、一般化性能も向上した。
• アブレーションスタディの結果、最も重要なフィルタは深層部（例：fc1）に集中しており、本手法の解釈可能性とフィルタ重要度順序付けの有効性が裏付けられた。
• FLOPsおよびパラメータスパarsity曲線は、段階的更新とグループベースのプリンニング意思決定のおかげで、わずかなフラクチュエーションを伴いつつも段階的に減少した。
• 顕著なプリンニング後でもモデル容量を維持したため、強力なロバストネスと効果的な冗長性除去が示された。