[논문 리뷰] AutoSNN: Towards Energy-Efficient Spiking Neural Networks

Byunggook Na, Jisoo Mok외 4명|arXiv (Cornell University)|2022. 01. 30.

Advanced Memory and Neural Computing인용 수 25

한 줄 요약

AutoSNN은 에너지 효율적인 SNN을 설계하기 위해 스파이크 인지 신경망 아키텍처 검색을 도입하여 정확도와 스파이크 수의 균형을 맞추고, 여러 데이터셋에서 수작업으로 설계된 구조보다 더 나은 성능을 얻습니다.

ABSTRACT

Spiking neural networks (SNNs) that mimic information transmission in the brain can energy-efficiently process spatio-temporal information through discrete and sparse spikes, thereby receiving considerable attention. To improve accuracy and energy efficiency of SNNs, most previous studies have focused solely on training methods, and the effect of architecture has rarely been studied. We investigate the design choices used in the previous studies in terms of the accuracy and number of spikes and figure out that they are not best-suited for SNNs. To further improve the accuracy and reduce the spikes generated by SNNs, we propose a spike-aware neural architecture search framework called AutoSNN. We define a search space consisting of architectures without undesirable design choices. To enable the spike-aware architecture search, we introduce a fitness that considers both the accuracy and number of spikes. AutoSNN successfully searches for SNN architectures that outperform hand-crafted SNNs in accuracy and energy efficiency. We thoroughly demonstrate the effectiveness of AutoSNN on various datasets including neuromorphic datasets.

연구 동기 및 목표

• SNN에서 아키텍처 선택이 정확도 및 스파이크 생성에 어떤 영향을 미치는지 분석합니다.
• 스파이크를 줄여 에너지 효율을 높이는 설계 구성 요소를 식별합니다.
• 스파이크 인지 NAS 프레임워크를 개발하여 자동으로 효율적인 SNN 구조를 발견합니다.
• 정적 및 네오로모픽 데이터셋에서 AutoSNN의 효과를 입증합니다.

제안 방법

• SNN 빌딩 블록을 스파이킹 합성곱 및 잔여 블록(SCB 및 SRB)으로 표준화합니다.
• 전역 평균 풀링과 같은 부적합한 선택과 더 바람직한 다운샘플링(맥스 풀링)을 식별합니다.
• 두 단계의 탐색 공간 정의: 매크로 백본(SNN_1 기반)과 마이크로 수준 후보 스파이킹 블록(스킵, SCB_k3, SCB_k5, SRB_k3, SRB_k5).
• 정확도와 스파이크 수를 함께 최적화하기 위해 F(A) = Accuracy × (N / N_avg)^λ 로 구성된 스파이크 인지 적합도 함수 도입, λ < 0로 스파이크를 제재.
• 하나의 네트워크 가중치 공유를 사용하여 모든 후보를 인코딩하는 슈퍼 네트워크를 학습한 후, 고정 예산(B = 200 평가) 하에서 아키텍처에 대한 진화 탐색을 수행합니다.
• 매개변수 LIF 뉴런(PLIF)과 8 타임스텝으로 SNN을 감독 학습으로 학습시키고; 서로 다른 데이터셋 간의 전이 가능성을 평가합니다.

실험 결과

연구 질문

• RQ1 SNN의 어떤 아키텍처 구성 요소가 정확도와 스파이크 수 간의 트레이드오프에 가장 큰 영향을 미치는가?
• RQ2 스파이크 인지 NAS 프레임워크가 정확도와 에너지 효율성 모두에서 수작업 설계보다 우수한 SNN 아키텍처를 발견할 수 있는가?
• RQ3 AutoSNN은 정적 및 네오로모픽 데이터셋과 서로 다른 타임스텝에서 얼마나 일반화되는가?
• RQ4 SNN 전용 공간에서의 탐색이 SNN에 ANN 탐색 공간을 적용하는 것보다 더 나은 결과를 낳는가?

주요 결과

• AutoSNN은 CIFAR10에서 수작업으로 설계된 SNN보다 더 높은 정확도와 더 적은 스파이크를 생성하는 에너지 효율적인 SNN 아키텍처를 발견한다.
• 초기 채널 수를 다르게 하여 CIFAR10에서 AutoSNN은: 16→88.67% 정확도 with 108K 스파이크; 32→91.32% with 176K; 64→92.54% with 261K; 128→93.15% with 310K.
• 다양한 데이터셋에서 AutoSNN은 정확도와 스파이크 수 모두에서 수작업 아키텍처보다 우수한 성능을 보인다(예: CIFAR100: AutoSNN 69.16% vs 66.83% with 326K 스파이크 vs 716K; SVHN: AutoSNN 91.74% vs 91.38% with 215K vs 462K; DVS128-Gesture: AutoSNN 96.53% vs 95.49% with 423K vs 1459K).
• 스파이크 인지 가중치 λ를 증가시키면 스파이크 수가 감소하고 정확도는 약간의 트레이드오프가 생김; 기본 λ = -0.08은 유사한 정확도에서 약 20K 정도의 스파이크를 더 줄여준다.
• 탐색 비용은 단일 GPU에서 적당하다(약 7시간: 슈퍼 네트워크 학습 약 6.5시간, 진화 탐색 약 8분).
• 거리감소 연구(ablation)는 스파이크 인지 진화 탐색이 무작위 샘플링 및 ANN 기반 탐색보다 우수하다는 것을 보여주며 아키텍처 탐색 중에 SNN 특성을 고려할 필요성을 입증한다.