[논문 리뷰] Efficient and Accurate Conversion of Spiking Neural Network with Burst Spikes

Yang Li, Yi Zeng|arXiv (Cornell University)|2022. 04. 28.

Advanced Memory and Neural Computing인용 수 8

한 줄 요약

이 논문은 인공신경망(ANN)을 스파iking신경망(SNN)으로 변환하는 새로운 방법을 제안하며, 번개 자극과 횡방향 억제 풀링(LIPooling)을 통합하여 100개 이내의 시뮬레이션 시간 단위 내에서 최신 기술 수준의 정확도를 달성한다. 이 방법은 전통적 방법 대비 성능 저하와 에너지 소비를 10% 이내로 줄여 뉴로모픽 하드웨어에서 효율적이고 저지연의 SNN 추론을 가능하게 한다.

ABSTRACT

Spiking neural network (SNN), as a brain-inspired energy-efficient neural network, has attracted the interest of researchers. While the training of spiking neural networks is still an open problem. One effective way is to map the weight of trained ANN to SNN to achieve high reasoning ability. However, the converted spiking neural network often suffers from performance degradation and a considerable time delay. To speed up the inference process and obtain higher accuracy, we theoretically analyze the errors in the conversion process from three perspectives: the differences between IF and ReLU, time dimension, and pooling operation. We propose a neuron model for releasing burst spikes, a cheap but highly efficient method to solve residual information. In addition, Lateral Inhibition Pooling (LIPooling) is proposed to solve the inaccuracy problem caused by MaxPooling in the conversion process. Experimental results on CIFAR and ImageNet demonstrate that our algorithm is efficient and accurate. For example, our method can ensure nearly lossless conversion of SNN and only use about 1/10 (less than 100) simulation time under 0.693$ imes$ energy consumption of the typical method. Our code is available at https://github.com/Brain-Inspired-Cognitive-Engine/Conversion_Burst.

연구 동기 및 목표

• 제한된 시뮬레이션 시간 내에서 ANN에서 SNN로의 변환 시 성능 저하와 긴 추론 시간 문제를 해결하기 위해.
• ReLU 및 IF 뉴런 간의 차이, 시간적 동역학, 풀링 연산 등으로 인한 변환 오류를 분석하고 완화하기 위해.
• 시뮬레이션 시간과 에너지 소비를 최소화하여 뉴로모픽 하드웨어에서 효율적이고 정확한 SNN 추론을 가능하게 하기 위해.
• 최대 풀링을 생물학적으로 유사한 횡방향 억제 풀링(LIPooling) 기반 메커니즘으로 대체하여 정보 전달을 향상시키기 위해.
• 기존 ANN 학습 과정을 수정하거나 추가 레이어를 추가하지 않고도 거의 손실이 없는 SNN 변환을 실현하기 위해.

제안 방법

• 클록드라이브 SNN에서 잔류 정보를 고주기 자극 번개로 방출하는 번개 자극 뉴런 모델을 제안하여 ANN 활성화에 대한 발화율 근사치를 향상시킨다.
• 횡방향 억제 풀링(LIPooling)을 도입하여 신경망의 횡방향 억제를 모방함으로써, SNN에서 MaxPooling보다 더 정확하게 최대 활성화 값을 유지한다.
• 세 가지 차원에서 변환 오류를 분석한다: ReLU와 IF 뉴런 간의 차이, 시간적 통합 영향, 풀링의 정확도 결함.
• 기존의 아키텍처 수정 없이 VGG16 및 ResNet20와 같은 표준 네트워크에 적용하며, 사전 학습된 ANN의 가중치 매핑만 사용한다.
• 이론적 프레임워크를 활용해 변환 과정에서 잔류 정보 손실을 정량화하고 최소화하며, 특히 초기 시간 단계에서의 손실에 초점을 맞춘다.
• 평균 발화율과 MAC 에너지 비용 기반의 에너지 추정을 사용하여 뉴로모픽 플랫폼에서의 하드웨어 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 ReLU와 IF 뉴런 간의 차이가 ANN에서 SNN로의 변환 시 성능 저하에 어떻게 기여하는가?
• RQ2 시간적 통합과 풀링 연산이 SNN 변환 과정에서 정보를 얼마나 왜곡하는가?
• RQ3 짧은 시뮬레이션 윈도우 내에서 번개 자극 방출이 잔류 정보를 효과적으로 복구하고 발화율 정확도를 향상시킬 수 있는가?
• RQ4 횡방향 억제 풀링(LIPooling)이 MaxPooling보다 SNN에서 활성화 크기를 더 잘 유지하는가?
• RQ5 제한된 시간 단위 내에서 추론 속도, 정확도, 에너지 효율성 간의 상호 상충 관계는 어떠한가?

주요 결과

• ResNet20를 사용한 CIFAR-10에서 본 방법은 단 32개의 시간 단위 내에 96.59%의 정확도를 달성하여 이전의 SOTA 방법을 초월한다.
• VGG16를 사용한 CIFAR-100에서 본 방법은 64개의 시간 단위 내에 80.72%의 정확도를 기록하였으며, 원본 ANN과 비교해 성능 손실가 1% 미만이다.
• ImageNet에서 VGG16를 사용한 경우 본 방법은 128개의 시간 단위 내에 74.26%의 Top-1 정확도를 달성하였으며, RMP 및 기타 SOTA 변환 방법을 능가한다.
• 변환된 SNN의 에너지 소비는 원본 ANN의 69.3%에 불과하여 높은 에너지 효율성을 입증한다.
• 기존 방법 대비 시뮬레이션 시간을 10분의 1 이하로 줄였으며, 거의 손실이 없는 정확도를 유지하면서 100개 이하의 시간 단위만으로도 충분하다.
• LIPooling은 MaxPooling보다 정확도를 크게 향상시키며, 오차 임계값 e < 2/T 조건 하에 양성 활성화를 정확히 방출하는 비율이 95% 이상으로 높게 유지된다.