[論文レビュー] SPARQ: Spiking Early-Exit Neural Networks for Energy-Efficient Edge AI

Parth Patne, Mahdi Taheri+4 more|arXiv (Cornell University)|Mar 15, 2026

Advanced Memory and Neural Computing被引用数 0

ひとこと要約

SPARQ はスパイク計算、量子化対応訓練、RL による早期出口を統合し、エッジデータセットで精度を維持しつつエネルギーと演算を大幅に削減する Quantized Dynamic SNNs (QDSNNs) を形成します。

ABSTRACT

Spiking neural networks (SNNs) offer inherent energy efficiency due to their event-driven computation model, making them promising for edge AI deployment. However, their practical adoption is limited by the computational overhead of deep architectures and the absence of input-adaptive control. This work presents SPARQ, a unified framework that integrates spiking computation, quantization-aware training, and reinforcement learning-guided early exits for efficient and adaptive inference. Evaluations across MLP, LeNet, and AlexNet architectures demonstrated that the proposed Quantised Dynamic SNNs (QDSNN) consistently outperform conventional SNNs and QSNNs, achieving up to 5.15% higher accuracy over QSNNs, over 330 times lower system energy compared to baseline SNNs, and over 90 percent fewer synaptic operations across different datasets. These results validate SPARQ as a hardware-friendly, energy-efficient solution for real-time AI at the edge.

研究の動機と目的

• スパイキングニューラルネットワークと入力適応の早期出口および量子化を組み合わせてエネルギー効率の高いエッジAIを動機づける。
• RL を活用して入力ごとの出口点を決定しつつ QAT を適用する統一的な QDSNN フレームワークを開発する。
• MNIST と CIFAR-10 上で標準アーキテクチャ（MLP、LeNet、AlexNet）を横断的に評価し、精度とエネルギーの利得を示す。

提案手法

• 事前訓練済み ANN を Leaky Integrate-and-Fire ニューロンを用いて SNN に変換する。
• 中間層に軽量な早期出口ブランチを付与し、出口するか継続するかを決定する RL 訓練方針を適用する。
• 重みと活性を INT8 精度に抑えるための Quantization-Aware Training を適用する。
• 現在の出口インデックスと信頼度（最大ソフトマックス）に基づいて出口を選択する Q-learning による RL エージェントを訓練する。
• LIF ニューロンのダイナミクスとメモリアクセスを含む完全なフレームワークとしてエネルギーをモデル化し、動作エネルギーとシステムエネルギーの両方を報告する。
• ベースラインと量子化変種の比較のため、MNIST と CIFAR-10 上でアーキテクチャ（5層MLP、LeNet-5、AlexNet）を T=32 として評価する。

実験結果

リサーチクエスチョン

• RQ1 RL によるエクスイト政策を用いた量子化SNNが高い精度を維持しつつエネルギーと演算を大幅に削減できるか。
• RQ2 ダイナミックSNNへ QAT を適用する際の出口深さ、精度、エネルギーのトレードオフは何か。
• RQ3 QDSNN は標準の SNN や QSNN と比べて精度、演算、エンドツーエンドのエネルギーでどうなるか。
• RQ4 CIFAR-10 の AlexNet で RL 出口方針を使用した場合、クラスごとのルーティング挙動はどう現れるか。
• RQ5 エネルギーモデリングに LIF ダイナミクスを含めることが全体の効率推定に与える影響はどれくらいか。

主な発見

Model Variant	Dataset	Acc.	Time (ms)	Power (W)	Energy (mJ)
SNN (T=32)	MNIST	95.00	539.0	0.080	43.10
QSNN (T=4)	MNIST	94.50	420.0	0.005	2.10
QDSNN (Cfg:0.2/0.4)	MNIST	95.50	105.0	0.009	0.95
QDSNN (Cfg:0.6/0.7)	MNIST	97.80	83.0	0.012	0.99
SNN (T=32)	MNIST	97.76	552.0	0.053	29.26
QSNN (T=4)	MNIST	93.09	70.0	0.001	0.07
QDSNN (Cfg:0.2/0.4)	MNIST	96.01	159.0	0.004	0.58
QDSNN (Cfg:0.6/0.7)	MNIST	98.24	162.0	0.004	0.58
SNN (T=32)	CIFAR-10	77.01	1802.0	0.493	888.00
QSNN (T=4)	CIFAR-10	74.30	1.7	1.66	2.82
QDSNN (Cfg:0.2/0.4)	CIFAR-10	64.80	2.5	1.06	2.68
QDSNN (Cfg:0.6/0.7)	CIFAR-10	78.00	2.2	1.24	2.68

• QDSNN は評価タスクで QSNN より最大で 5.15% の精度向上を達成できる。
• 特定の構成下で QDSNN はベースライン SNN と比較して最大で 330×のシステムエネルギーを削減できる。
• QDSNN は tested datasets 全体でシナプス演算を 90×超削減。
• MNIST で QDSNN（Cfg:0.6/0.7）は 97.80% の精度で 18.70M AC を達成、ベースラインより高い。
• MNIST の LeNet で QDSNN（Cfg:0.6/0.7）は 98.24% の精度で 13.92M AC を達成。
• CIFAR-10 の AlexNet で QDSNN（Cfg:0.6/0.7）は 78.00% の精度で 0.27M の spike-triggered AC、全体エネルギー削減も大幅。