[論文レビュー] tinySNN: Towards Memory- and Energy-Efficient Spiking Neural Networks

Rachmad Vidya Wicaksana Putra, Muhammad Shafique|arXiv (Cornell University)|Jun 17, 2022

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

tinySNN は、抑制性ニューロンの削除、学習ルールの向上、重みおよびニューロンパラメータのミックスド・プレシジョン量子化を適用することで、埋め込みシステム向けにメモリおよびエネルギー効率の高いスパikingニューラルネットワーク（SNN）を実現するフレームワークである。精度に損なわれることなく最大3.32倍のメモリ削減と2.9倍のエネルギー消費削減を達成し、リソース制約のあるデバイス上での高精度SNNのデプロイを可能にする。

ABSTRACT

Larger Spiking Neural Network (SNN) models are typically favorable as they can offer higher accuracy. However, employing such models on the resource- and energy-constrained embedded platforms is inefficient. Towards this, we present a tinySNN framework that optimizes the memory and energy requirements of SNN processing in both the training and inference phases, while keeping the accuracy high. It is achieved by reducing the SNN operations, improving the learning quality, quantizing the SNN parameters, and selecting the appropriate SNN model. Furthermore, our tinySNN quantizes different SNN parameters (i.e., weights and neuron parameters) to maximize the compression while exploring different combinations of quantization schemes, precision levels, and rounding schemes to find the model that provides acceptable accuracy. The experimental results demonstrate that our tinySNN significantly reduces the memory footprint and the energy consumption of SNNs without accuracy loss as compared to the baseline network. Therefore, our tinySNN effectively compresses the given SNN model to achieve high accuracy in a memory- and energy-efficient manner, hence enabling the employment of SNNs for the resource- and energy-constrained embedded applications.

研究の動機と目的

• 高メモリおよび高エネルギー消費のため、大規模で高精度なSNNをリソースおよびエネルギー制約のある埋め込みプラットフォームにデプロイする課題に対処する。
• 精度、メモリ、エネルギー効率のトレードオフを生じさせる既存のSNN最適化技術の限界を克服する。
• 両フェーズにおける計算およびメモリのオーバーヘッドを最小限に抑えることで、効率的なオンライン学習および推論を実現する。
• 報酬ベースの最適化を用いて、精度、メモリ、エネルギー制約をバランスさせるモデル選択メカニズムを開発する。
• IoTおよびエッジデバイスに適した、最小限のメモリフットプリントおよびエネルギー消費で高精度なSNNを実現する。

提案手法

• 抑制性ニューロンを直接的な横方向抑制に置き換えることで、そのパラメータおよび演算を削除し、メモリおよび計算負荷を低減する。
• スパイク時間依存強化（STDP）学習ルールを改善し、誤った重み更新を最小限に抑え、操作削減後の学習品質を維持するための適応的増強を導入する。
• 重みおよびニューロンパラメータに対してミックスド・プレシジョン量子化を適用し、さまざまな量子化方式、精度レベル（4ビットから32ビットまで）、丸め方法（例：切り捨て）を検討する。
• メモリ・精度・エネルギーのトレードオフを評価する報酬関数を導入し、ユーザー定義の制約に基づいて最適なSNNモデルの自動選択を可能にする。
• GPUおよびJetson Nano上でPyTorchベースのシミュレーション環境を用い、MNISTおよびFashion-MNISTデータセットを対象に、精度、メモリフットプリント、エネルギー消費を評価する。
• 精度を低精度設定で保持する配置を特定するため、トレーニング後の量子化（PTQ）および反復的量子化（ITQ）の両方の方式を評価する。

実験結果

リサーチクエスチョン

• RQ1 学習および推論の両フェーズにおいて、精度を損なわず、メモリおよびエネルギー効率を最適化するSNNの実現方法は何か？
• RQ2 抑制性ニューロンの削除がSNNの精度およびエネルギー消費に与える影響は何か？
• RQ3 どの量子化方式、精度レベル、丸め方法の組み合わせが、SNNの精度を保持しつつ、メモリおよびエネルギー使用量を最小限に抑えることができるか？
• RQ4 モデル選択フレームワークは、埋め込みデプロイの文脈で、精度、メモリフットプリント、エネルギー消費を効果的にバランスさせるにはどうすればよいか？
• RQ5 重みおよびニューロンパラメータのミックスド・プレシジョン量子化は、性能を維持したまま、SNNのサイズおよびエネルギー消費をどの程度削減できるか？

主な発見

• 8ビット以上で量子化された tinySNN は、MNISTおよびFashion-MNISTの両データセットにおいて、ベースラインのFP32 SNNおよびSL-STDP（FP32）よりも高い精度を達成する。
• フレームワークにより、SNNのメモリフットプリントは、ベースライン比最大3.3倍（8ビット重みの場合）および3.32倍（8ビット重みおよびニューロンパラメータの場合）削減された。
• 8ビット量子化バージョンでは、トレーニングで最大1.9倍、推論で最大2.9倍のエネルギー消費削減が達成され、抑制性ニューロンの削除および量子化による最大の利点が得られた。
• モデル選択メカニズムは、ユーザーが定義した精度・メモリ・エネルギーのトレードオフに基づき、最適なSNN構成を効果的に同定した。μ値が高いほど、より小型で低精度のモデルが優先された。
• 直接的な横方向抑制と強化された学習ルールの組み合わせにより、操作数を削減しても精度が維持または向上した。これは、アーキテクチャの単純化の有効性を示している。
• 重みおよびニューロンパラメータの両方を量子化することで、重みのみの量子化よりも追加のメモリおよびエネルギー削減が得られ、精度が8ビット以上でなければ最小限の精度低下に抑えられた。