[論文レビュー] Comprehensive SNN Compression Using ADMM Optimization and Activity Regularization

Lei Deng, Yujie Wu+7 more|arXiv (Cornell University)|Nov 3, 2019

Advanced Memory and Neural Computing参考文献 58被引用数 13

ひとこと要約

本稿は、接続プルーニングと重み量子化のADMMベース最適化に加え、動的スパイクイベントを削減する活性度正則化を組み合わせた包括的なスパイクニューラルネットワーク（SNN）圧縮フレームワークを提案する。MNISTで25%のスパarsityと3ビットの重みを用いて最大98.59%の精度を達成し、メモリ、演算、スパイク効率の観点から定量的指標を用いて、すべての主要なSNN圧縮要因を統合的に評価した最初の研究であり、先行手法を上回る性能を示している。

ABSTRACT

As well known, the huge memory and compute costs of both artificial neural networks (ANNs) and spiking neural networks (SNNs) greatly hinder their deployment on edge devices with high efficiency. Model compression has been proposed as a promising technique to improve the running efficiency via parameter and operation reduction. Whereas, this technique is mainly practiced in ANNs rather than SNNs. It is interesting to answer how much an SNN model can be compressed without compromising its functionality, where two challenges should be addressed: i) the accuracy of SNNs is usually sensitive to model compression, which requires an accurate compression methodology; ii) the computation of SNNs is event-driven rather than static, which produces an extra compression dimension on dynamic spikes. To this end, we realize a comprehensive SNN compression through three steps. First, we formulate the connection pruning and weight quantization as a constrained optimization problem. Second, we combine spatio-temporal backpropagation (STBP) and alternating direction method of multipliers (ADMM) to solve the problem with minimum accuracy loss. Third, we further propose activity regularization to reduce the spike events for fewer active operations. These methods can be applied in either a single way for moderate compression or a joint way for aggressive compression. We define several quantitative metrics to evaluation the compression performance for SNNs. Our methodology is validated in pattern recognition tasks over MNIST, N-MNIST, CIFAR10, and CIFAR100 datasets, where extensive comparisons, analyses, and insights are provided. To our best knowledge, this is the first work that studies SNN compression in a comprehensive manner by exploiting all compressible components and achieves better results.

研究の動機と目的

• エッジデプロイメントへの関心が高まる一方で、体系的なSNN圧縮技術の欠如に取り組む。
• SNNの圧縮に対する高い感受性とイベント駆動型計算ダイナミクスの二重の課題を克服する。
• 接続プルーニング、重み量子化、スパイク活動の低減を統合的に最適化するフレームワークを構築する。
• メモリ、演算、スパイク効率の観点からSNN圧縮性能を評価する定量的指標を確立する。
• 複数の圧縮手法を併用することで、単一手法に比べて精度と効率の両面で優れた性能を実現することを示す。

提案手法

• ADMMを用いてSNNの接続プルーニングと重み量子化を制約付き最適化問題として定式化する。
• SNNの構造と重みを最小限の精度損失で同時に最適化するため、STBP（時空間的バックプロパゲーション）をADMMと統合する。
• イベント駆動型SNNにおけるアクティブな演算を削減するために、活性度正則化を導入する。
• アプリケーションのニーズに応じて、中程度の圧縮を実現する単一手法と、強力な圧縮を実現する統合手法の両方を可能にする。
• 評価のための3つの圧縮指標を定義する：メモリ削減率（R_mem）、スパイク削減率（R_s）、総合演算削減率（R_ops）。
• MNIST、N-MNIST、CIFAR10、CIFAR100の4つのデータセットにフレームワークを適用し、汎用性と頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 プルーニング、量子化、スパイク活動低減の各要因を統合的にSNN圧縮にどのように統合できるか。
• RQ2 各圧縮要因（プルーニング、量子化、正則化）がメモリ削減とスパイク削減に果たす相対的寄与度は何か。
• RQ3 华やかに圧縮されたSNNの精度と効率の観点から、統合的圧縮と単一手法圧縮を比較するとどうなるか。
• RQ4 異なる圧縮比において、SNNにおけるメモリ節約とスパイク削減のトレードオフはどのようなものか。
• RQ5 静的（MNIST）と動的（N-MNIST）なデータセットにおけるSNN圧縮性能の違いは何か。

主な発見

• 重み量子化が最も顕著にメモリ削減（R_mem）に寄与するが、活性度正則化が最も顕著にスパイク削減（R_s）に寄与する。
• R_memとR_sの間にトレードオフが存在し、R_opsは圧縮後の精度の信頼できる代理指標である。
• 複数の圧縮要因を同時に圧縮することで、単一要因の過剰な圧縮に比べて顕著に精度損失が小さい。
• SNNは重み量子化に対して強い耐性を示し、3ビット精度でさえも高い精度を維持する。
• N-MNISTのようなイベント駆動型データセットでは、低圧縮では精度が低下するが、過剰な圧縮では滑らかに回復する。
• 本稿で提案する直接的なSNN圧縮により、MNISTで25%のスパarsityと3ビットの重みを用いて98.59%の精度を達成した—これはTが非常に大きい（例：T=1000）場合を除き、ANNからSNNへの変換手法を上回る。