[논문 리뷰] Optimal ANN-SNN Conversion for High-accuracy and Ultra-low-latency Spiking Neural Networks

Tong Bu, Wei Fang외 4명|arXiv (Cornell University)|2023. 03. 08.

Advanced Memory and Neural Computing인용 수 87

한 줄 요약

이 논문은 quantization clip-floor-shift activation을 도입하여 ANN-SNN 변환에서 초저 지연(최소 4 타임스텝)에서 추정 변환 오차를 0으로 만들고 CIFAR-10/100 및 ImageNet에서 최첨단 정확도를 달성한다.

ABSTRACT

Spiking Neural Networks (SNNs) have gained great attraction due to their distinctive properties of low power consumption and fast inference on neuromorphic hardware. As the most effective method to get deep SNNs, ANN-SNN conversion has achieved comparable performance as ANNs on large-scale datasets. Despite this, it requires long time-steps to match the firing rates of SNNs to the activation of ANNs. As a result, the converted SNN suffers severe performance degradation problems with short time-steps, which hamper the practical application of SNNs. In this paper, we theoretically analyze ANN-SNN conversion error and derive the estimated activation function of SNNs. Then we propose the quantization clip-floor-shift activation function to replace the ReLU activation function in source ANNs, which can better approximate the activation function of SNNs. We prove that the expected conversion error between SNNs and ANNs is zero, enabling us to achieve high-accuracy and ultra-low-latency SNNs. We evaluate our method on CIFAR-10/100 and ImageNet datasets, and show that it outperforms the state-of-the-art ANN-SNN and directly trained SNNs in both accuracy and time-steps. To the best of our knowledge, this is the first time to explore high-performance ANN-SNN conversion with ultra-low latency (4 time-steps). Code is available at https://github.com/putshua/SNN\_conversion\_QCFS

연구 동기 및 목표

• 세 가지 주요 원천(클리핑, 양자화, 불균등성)에 대한 ANN-SNN 변환 오차를 이해하고 모델링한다.
• ANN 활성화를 SNN 발화 동작과 대비시키기 위한 활성화 함수 대체(quantization clip-floor) 제안.
• 초저 지연에서 기대 변환 오차가 0이 될 수 있음을 증명하고 표준 벤치마크에서 최첨단 결과를 입증한다.
• 초저 지연과 최대 정확도 간의 균형을 맞추기 위한 양자화 스텝 L 선택에 대한 가이드를 제공한다.]
• method:[

제안 방법

• Integrate-and-Fire(IF) SNN 및 ReLU 기반 ANN에서부터 ANN-SNN 변환 프레임워크를 도출한다.
• 클리핑 오차, 양자화 오차, 불균등성 오차로 변환 오차를 분해한다.
• 양자화 clip-floor 활성화(및 시프트 변형)를 도입하여 변환된 SNN이 시간 단계 T에서 활성화와 일치하도록 ANN을 학습시키고 특정 조건에서 0의 기대 오차를 증명한다.
• 정리 1: T = L 및 θ = λ일 때 quantization clip-floor 활성화를 사용할 때 추정 변환 오차가 0에 도달한다.
• 정리 2: 시프트 φ = 1/2일 때 임의의 T와 L에 대해 0의 기대 변환 오차가 된다.
• 제안된 활성화를 실현하기 위해 floor 연산자에 대한 Straight-Through Estimator로 ANN을 학습한다.

Figure S1: More spikes than expected exists for the method of setting the maximum activation.

실험 결과

연구 질문

• RQ1 초저 타임스텝에서 ANN-SNN 변환이 0 변환 오차를 달성할 수 있는가?
• RQ2 저지연에서 SNN 발화 속도를 더 잘 근사하기 위해 ANN 활성화를 어떻게 수정해야 하는가?
• RQ3 양자화 스텝 L과 시프트 φ가 데이터셋과 네트워크 아키텍처 전반의 변환 정확도에 어떤 영향을 미치는가?

주요 결과

• 초저 지연에서 다수의 아키텍처를 통해 CIFAR-10/100 및 ImageNet에서 최첨단 정확도를 달성한다.
• T = L 및 φ = 0일 때 레이어당 0에 가까운 추정 변환 오차를 달성; 실용적 결과에서도 낮은 타임스텝에서 거의 0에 가까운 차이를 보인다.
• quantization clip-floor-shift activation으로 학습된 ANN은 L ≥ 4에서 ReLU 기반 ANN에 근접한 성능을 유지한다.
• CIFAR-10의 경우 4-time-step 결과가 여러 선행 ANN-SNN 방법을 상회한다.
• ImageNet에서 이 방법은 타임스텝을 줄였을 때(예: T = 16–32에서 상당한 이득) 선도적인 결과를 낳는다.
• 양자화 스텝 L=4 또는 8은 초저 지연과 최고 정확도 간의 균형을 효과적으로 달성한다.