[논문 리뷰] SPARQ: Spiking Early-Exit Neural Networks for Energy-Efficient Edge AI

Parth Patne, Mahdi Taheri외 4명|arXiv (Cornell University)|2026. 03. 15.

Advanced Memory and Neural Computing인용 수 0

한 줄 요약

SPARQ는 스파이킹 계산, 양자화 인식 학습(QAT), 그리고 RL 가이드 방식의 조기 종료를 통합하여 Quantized Dynamic SNNs(QDSNNs)를 형성하고 에너지와 연산을 크게 줄이면서 엣지 데이터셋에서 정확도를 유지합니다.

ABSTRACT

Spiking neural networks (SNNs) offer inherent energy efficiency due to their event-driven computation model, making them promising for edge AI deployment. However, their practical adoption is limited by the computational overhead of deep architectures and the absence of input-adaptive control. This work presents SPARQ, a unified framework that integrates spiking computation, quantization-aware training, and reinforcement learning-guided early exits for efficient and adaptive inference. Evaluations across MLP, LeNet, and AlexNet architectures demonstrated that the proposed Quantised Dynamic SNNs (QDSNN) consistently outperform conventional SNNs and QSNNs, achieving up to 5.15% higher accuracy over QSNNs, over 330 times lower system energy compared to baseline SNNs, and over 90 percent fewer synaptic operations across different datasets. These results validate SPARQ as a hardware-friendly, energy-efficient solution for real-time AI at the edge.

연구 동기 및 목표

• 스파이킹 뉴럴 네트워크와 입력 적응형 조기 종료 및 양자화를 결합하여 에너지 효율적 엣지 AI를 촉진한다.
• RL을 활용해 각 입력에 대해 종료 지점을 결정하면서 QAT를 적용하는 통합 QDSNN 프레임워크를 개발한다.
• MNIST와 CIFAR-10에서 표준 아키텍처(MLP, LeNet, AlexNet)로 QDSNN을 평가하여 정확도와 에너지 이점을 보여준다.

제안 방법

• 사전 학습된 ANN을 Leaky Integrate-and-Fire 뉴런을 사용해 SNN으로 변환한다.
• 중간 계층에 경량 조기 종료 브랜치를 부착하고, 종료 여부를 결정하는 RL 학습 정책으로 계속할지 종료할지 결정한다.
• 가중치와 활성화를 INT8 정밀도로 줄이기 위한 양자화 인식 학습(QAT)을 적용한다.
• 현재 종료 인덱스와 확신도(최대 소프트맥스)에 근거해 종료 지점을 선택하도록 Q-학습으로 RL 에이전트를 학습시킨다.
• LIF 뉴런 다이내믹스와 메모리 접근을 포함한 전체 프레임워크로 에너지를 모델링하고 연산 에너지와 시스템 에너지를 모두 보고한다.
• baselines로 T=32, 양자화 변형에 대해 T=4를 사용한 MNIST와 CIFAR-10에서 5층 MLP, LeNet-5, AlexNet 아키텍처를 평가한다.

실험 결과

연구 질문

• RQ1 RL로 안내되는 조기 종료가 양자화된 SNN에서 높은 정확도를 유지하면서 에너지와 연산을 크게 줄일 수 있는가?
• RQ2 동적 SNN에 QAT를 적용할 때 종료 깊이, 정확도, 에너지 간의 trade-off는 무엇인가?
• RQ3 QDSNN이 표준 SNN 및 QSNN과 비교해 정확도, 연산, 엔드-투-엔드 에너지 측면에서 일반 아키텍처와 데이터셋에서 어떤 차이를 보이는가?
• RQ4 CIFAR-10에서 AlexNet에 RL 종료 정책을 사용할 때 각 클래스별 라우팅 행동은 어떤 것이 나타나는가?
• RQ5 에너지 모델링에 LIF 다이내믹스를 포함하는 것이 전체 효율성 추정에 어떤 영향을 미치는가?

주요 결과

• QDSNN은 평가된 작업에서 QSNN보다 정확도가 최대 5.15% 높을 수 있다.
• 일부 구성에서 QDSNN은 baselines SNN 대비 시스템 에너지를 최대 330배 낮출 수 있다.
• 테스트 데이터셋 전반에서 SNN 베이스라인 대비 시냅스 연산을 90배 이상 감소시킨다.
• MNIST에서 QDSNN(Cfg:0.6/0.7)은 97.80% 정확도와 18.70M AC를 달성하는 반면, baselines은 더 높다.
• MNIST의 LeNet에서 QDSNN(Cfg:0.6/0.7)은 98.24% 정확도와 13.92M AC를 달성한다.
• CIFAR-10에서 AlexNet의 QDSNN(Cfg:0.6/0.7)은 78.00% 정확도를 달성하고 0.27M spike-triggered AC를 보이며, 전체 에너지 감소도 상당하다.