[論文レビュー] Towards Low-Latency Energy-Efficient Deep SNNs via Attention-Guided Compression

Souvik Kundu, Gourav Datta+2 more|arXiv (Cornell University)|Jul 16, 2021

Advanced Memory and Neural Computing参考文献 50被引用数 11

ひとこと要約

本論文は、事前に訓練されたANNの注目マップを用いて構造的・不規則的 pruning を誘導する、反復的でない深層スパイキングニューラルネットワーク（SNN）用の圧縮フレームワークを提案する。この手法により、入力コード化を伴うスパース学習ベースのSNN学習を経て、最小限の精度低下で最大33.4倍の超高圧縮を達成する。この方法は推論遅延を低減し、エネルギー効率を向上させ、CIFAR-10で圧縮されていないANNと比較して最大98倍の計算エネルギー効率向上を達成する。

ABSTRACT

Deep spiking neural networks (SNNs) have emerged as a potential alternative to traditional deep learning frameworks, due to their promise to provide increased compute efficiency on event-driven neuromorphic hardware. However, to perform well on complex vision applications, most SNN training frameworks yield large inference latency which translates to increased spike activity and reduced energy efficiency. Hence,minimizing average spike activity while preserving accuracy indeep SNNs remains a significant challenge and opportunity.This paper presents a non-iterative SNN training technique thatachieves ultra-high compression with reduced spiking activitywhile maintaining high inference accuracy. In particular, our framework first uses the attention-maps of an un compressed meta-model to yield compressed ANNs. This step can be tuned to support both irregular and structured channel pruning to leverage computational benefits over a broad range of platforms. The framework then performs sparse-learning-based supervised SNN training using direct inputs. During the training, it jointly optimizes the SNN weight, threshold, and leak parameters to drastically minimize the number of time steps required while retaining compression. To evaluate the merits of our approach, we performed experiments with variants of VGG and ResNet, on both CIFAR-10 and CIFAR-100, and VGG16 on Tiny-ImageNet.The SNN models generated through the proposed technique yield SOTA compression ratios of up to 33.4x with no significant drops in accuracy compared to baseline unpruned counterparts. Compared to existing SNN pruning methods, we achieve up to 8.3x higher compression with improved accuracy.

研究の動機と目的

• リソース制限のあるエッジデバイスへの適用を制限する、深層SNNにおける高い推論遅延とエネルギー消費を低減すること。
• バッチ正規化層が存在しない状況においても、反復的または複雑な最適化を伴わずに高圧縮・高エネルギー効率なSNNを実現すること。
• 不規則的および構造的 pruning を両方サポートする、反復的でないエンドツーエンドの学習フレームワークを構築し、幅広いハードウェア互換性を実現すること。
• 直接入力コード化とSNNパラメータの共同最適化により、スパイク活動とステップ数を最小限に抑えることで、SNNの推論効率を向上させること。

提案手法

• 未圧縮かつ事前に訓練されたメタANNの注目マップを用いて、構造的または不規則的チャネルプルーニングにより、スパースで低密度な構造にANNを圧縮する。
• ANNの活性化統計に基づいて、段階的に層のしきい値を固定することで、圧縮されたANNをSNNに変換する。
• 直接入力コード化を用い、スパース学習ベースの教師あり学習をSNNで実行し、SNN重み、しきい値、リークパラメータを同時に最適化してステップ数を最小化する。
• スパース学習の非反復的性質を活用し、バッチ正規化のないネットワークで一般的な層ごとの密度チューニングや勾配爆発の問題を回避する。
• 不規則的および構造的プルーニングの両方をサポートすることで、スパースアクセラレータを搭載しているか否かにかかわらず、ハードウェアに依存しない展開を可能にする。
• 直接入力コード化を用いることで、特に初期層においてスパイク活動とFLOPsを低減し、遅延とエネルギー効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 注目誘導圧縮は、反復的または複雑な最適化を伴わず、高圧縮SNNを実現できるか？
• RQ2 直接入力コード化は、レートコード入力と比較して、圧縮SNNのスパイク活動と推論遅延にどのような影響を与えるか？
• RQ3 スパース学習ベースの訓練と組み合わせた構造的および不規則的プルーニングは、精度を維持しながらエネルギー消費をどれほど低減できるか？
• RQ4 提案手法は、VGG や ResNet などの深層アーキテクチャにおいて、既存のSNNプルーニング技術よりも高い圧縮率とエネルギー効率を達成できるか？

主な発見

• 提案手法は、CIFAR-10で未圧縮SNNと比較して最小限の精度低下で最大33.4倍の圧縮比を達成した。
• 直接入力コード化を用いて訓練された圧縮SNNは、圧縮されていないANNと比較してCIFAR-10のVGG16で最大98倍高い計算エネルギー効率を達成し、同等パラメータ数のANNと比較して47倍高いエネルギー効率を示した。
• 直接入力コード化と最適化されたしきい値設定のおかげで、ベースラインSNNと比較して平均スパイク活動が最大約98％低減され、特に初期層で顕著であった。
• 既存のSNNプルーニング手法と比較して、CIFAR-10およびCIFAR-100で最大8.3倍の高い圧縮率と向上した精度を達成した。
• 直接入力SNNは、レートコード変換バージョンと比較して、最大4.5倍のFLOPs効率向上を達成し、推論遅延も低減された。
• 極めて高い圧縮率下でも高い精度を維持でき、チャネルプルーニングモデルでは初期層のスパイク活動がベースライン比最低で約1.36倍まで低減された。