[論文レビュー] Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning

Yaxin Li, Qi Xu+4 more|arXiv (Cornell University)|Jun 3, 2024

Advanced Memory and Neural Computing被引用数 8

ひとこと要約

本論文は Spiking Channel Activity-based (SCA) ネットワーク剪定を SNN に適用する構造化された活動 guided 剪定と再成長の枠組みを提案する。重みとトポロジを同時に学習させ、軽量でハードウェアに優しいモデルを、最小限の精度損失で実現します。

ABSTRACT

The emergence of deep and large-scale spiking neural networks (SNNs) exhibiting high performance across diverse complex datasets has led to a need for compressing network models due to the presence of a significant number of redundant structural units, aiming to more effectively leverage their low-power consumption and biological interpretability advantages. Currently, most model compression techniques for SNNs are based on unstructured pruning of individual connections, which requires specific hardware support. Hence, we propose a structured pruning approach based on the activity levels of convolutional kernels named Spiking Channel Activity-based (SCA) network pruning framework. Inspired by synaptic plasticity mechanisms, our method dynamically adjusts the network's structure by pruning and regenerating convolutional kernels during training, enhancing the model's adaptation to the current target task. While maintaining model performance, this approach refines the network architecture, ultimately reducing computational load and accelerating the inference process. This indicates that structured dynamic sparse learning methods can better facilitate the application of deep SNNs in low-power and high-efficiency scenarios.

研究の動機と目的

• ハードウェアの効率とエネルギー節約を活用するために、SNN における構造化スパース性の必要性を動機づける。
• チャネルレベルのスパイク活動に基づいて導かれる動的な剪定–再成長 フレームワーク（SCA）を提案する。
• 訓練中に重みとネットワーク構造を同時に学習させ、性能を損なうことなく軽量なアーキテクチャを特定できるようにする。
• CIFAR-10、CIFAR-100 および DVS-CIFAR10 データセット上で、SNN に適応した一般的な CNN バックボーンを用いて効果を示す。

提案手法

• チャネルスパイク活動に基づいて畳み込みカーネルを剪定・再成長させる Spiking Channel Activity-based (SCA) フレームワークを導入する。
• 訓練サンプルと時間ステップ全体での平均膜電位（L1 ノルム）を用いてチャネルの重要度を計算する。
• 構造を記録するマスクを使用する; 疎性を維持するため、各イテレーションでチャネルの fraction p% を剪定し、q% を再成長させ、重み学習時には L1 正則化を併用する。
• BatchNorm からのガンマ勾配ベースの選択的成長を適用して、有望なチャネルを再活性化する。
• 代替勾配を用いて非微分可能なスパイクに対応し、訓練中に反復的な剪定/再成長を行う。
• Spiking 形態でさまざまな CNN アーキテクチャ（例：VGG、ResNet、PreResNet）への適用性を示す。

実験結果

リサーチクエスチョン

• RQ1 スパイク活動に導かれたチャネルレベルの構造化剪定は、SNN において大幅な精度低下を伴わずに大幅なモデル圧縮を実現できるか？
• RQ2 訓練中の剪定と再成長の組み合わせは、剪定のみまたはランダム剪定と比較してターゲットタスクへの適応を改善するか？
• RQ3 SCA アプローチは、データセット全体でパラメータ数やシナプス演算 (SynOps) などのハードウェアに関連する指標にどのように影響しますか？
• RQ4 SCA フレームワークは、異なる畳み込み SNN アーキテクチャ（プリアクティベーションおよびポストアクティベーション）に広く適用可能ですか？

主な発見

• SCA は、剪定比が増加してパラメータを大幅に削減する一方、元の精度に近い精度を維持します（例：CIFAR-10 VGG16 は ~10% のパラメータ数で精度を ~1% 程度の範囲内に保つ）。
• CIFAR-10、CIFAR-100、DVS-CIFAR10 では、妥当な精度変化、時には改善を伴う顕著なパラメータ圧縮を達成（例：CIFAR-10: ~30% パラメータ削減で ~0% to +0.53% 精度変化；CIFAR-100: ~16.47% パラメータで +0.64% 精度）。
• シナプス演算（SynOps）はチャネル剪定が進むと減少し、計算コストとエネルギー使用量の低減を示す。例：CIFAR-10 SNNVGG16 は高い剪定で顕著な SynOps の削減を示す。
• アブレーション研究は prune-and-regrow が prune-only やランダム剪定より優れており、CIFAR-10 SNNVGG16 で高い剪定（0.8）時に約 2% の精度低下にとどまることを示す。
• 他の SNN 剪定法と比較して、SCA は競争力のあるまたはそれ以上の精度を、畳み込みチャネルに焦点を当てた構造化剪定で大幅にハードウェアに優しい形で達成している。
• この枠組みは、より深い層がより多くのチャネルを失いやすいなど、解釈可能な構造適応を示し、訓練ダイナミクスは安定化へ向けて継続的な構造進化を示す。