[논문 리뷰] Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization

Ziming Wang, Shuang Lian외 4명|arXiv (Cornell University)|2022. 05. 16.

Advanced Memory and Neural Computing참고 문헌 64인용 수 11

한 줄 요약

이 논문은 초저지연 환경에서 손실 없는 ANN-SNN 변환을 위해 양자화, 클리핑 및 잔류 막 전위 표현 오차를 명시적으로 다루는 双단계 최적화 방법을 제안한다. 훈련 가능한 QC-ANN와 BPTT 기반 校정을 도입함으로써, 최대 15.7배의 에너지 절감을 달성하며, CIFAR-100에서 단 2단계 시간 내에 73.20%의 top-1 정확도를 달성한다.

ABSTRACT

Spiking neural networks (SNNs) operating with asynchronous discrete events show higher energy efficiency with sparse computation. A popular approach for implementing deep SNNs is ANN-SNN conversion combining both efficient training of ANNs and efficient inference of SNNs. However, the accuracy loss is usually non-negligible, especially under a few time steps, which restricts the applications of SNN on latency-sensitive edge devices greatly. In this paper, we first identify that such performance degradation stems from the misrepresentation of the negative or overflow residual membrane potential in SNNs. Inspired by this, we decompose the conversion error into three parts: quantization error, clipping error, and residual membrane potential representation error. With such insights, we propose a two-stage conversion algorithm to minimize those errors respectively. Besides, We show each stage achieves significant performance gains in a complementary manner. By evaluating on challenging datasets including CIFAR-10, CIFAR- 100 and ImageNet, the proposed method demonstrates the state-of-the-art performance in terms of accuracy, latency and energy preservation. Furthermore, our method is evaluated using a more challenging object detection task, revealing notable gains in regression performance under ultra-low latency when compared to existing spike-based detection algorithms. Codes are available at https://github.com/Windere/snn-cvt-dual-phase.

연구 동기 및 목표

• 초저지연 환경에서 ANN-SNN 변환 정확도의 핵심 격차, 특히 잔류 막 전위의 잘못된 표현으로 인한 정확도 저하를 해결한다.
• 변환 오차를 세 가지 별도의 구성 요소로 분해한다: 양자화 오차, 클리핑 오차, 잔류 전위 표현 오차.
• 각 오차 유형을 체계적으로 최소화할 수 있는 이중단계 최적화 프레임워크를 개발하여 최소 추론 지연으로 손실 없는 변환을 가능하게 한다.
• 극한의 시간단계 제약 조건 하에서 CIFAR-100, CIFAR-10, ImageNet 데이터셋에서 최신 기술 수준의 정확도-지연-에너지 트레이드오프를 달성한다.

제안 방법

• 양자화 및 클리핑 오차를 명시적으로 분리하고 최적화하기 위해 중간 모델로 QC-ANN(양자화-클리핑 인공신경망)을 도입한다.
• 첫 번째 단계에서 훈련 가능한 임계값과 양자화 노이즈를 적용하여 ANN의 SNN 변환 정밀도를 향상시킨다.
• 백프로파게이션을 시간에 따라 적용(BPTT)하여 가중치와 초기 막 전위를 층 단위로 校정함으로써 잔류 전위 표현 오차를 최소화한다.
• 변환 오차를 세 가지 구성 요소로 분해한다: 양자화 오차(활성화 양자화에서 기인), 클리핑 오차(스피크 레이트 클리핑에서 기인), 잔류 전위 표현 오차(비영인 막 전위의 잘못된 표현에서 기인).
• 세 오차 유형을 상호 보완적인 방식으로 이중단계로 최적화한다: 첫 번째 단계는 양자화 및 클리핑에 집중하고, 두 번째 단계는 잔류 전위에 집중한다.
• 스피크 레이트를 주요 변환 기준으로 삼으며, 층 간 ANN 활성화와 SNN 스파이크 레이트 간의 L2 거리를 최소화한다.

실험 결과

연구 질문

• RQ1 초저지연 환경에서 ANN-SNN 변환의 정확도 저하의 주요 원인은 무엇인가?
• RQ2 잔류 막 전위의 잘못된 표현, 양자화, 클리핑 오차는 SNN의 변환 오차에 어떻게 기여하는가?
• RQ3 각 오차 구성 요소를 별도로 최소화하는 이중단계 최적화 전략이 최소 시간단계에서 손실 없는 변환을 달성할 수 있는가?
• RQ4 기존 최신 기술 수준의 변환 방법과 비교해 볼 때, 제안된 방법은 정확도-지연-에너지 트레이드오프를 얼마나 향상시킬 수 있는가?
• RQ5 BPTT 기반 校정은 저지연 SNN에서 시간적 동역학을 얼마나 잘 포착하고 잔류 전위 표현 오차를 줄이는가?

주요 결과

• 제안된 방법은 단 2단계 시간 내에 CIFAR-100에서 73.20%의 top-1 정확도를 달성하며, 원본 ANN 대비 에너지 소비량이 최대 15.7배 감소한다.
• VGG-16 기반 ImageNet에서 16단계 시간 내에 70.13%의 top-1 정확도를 달성했으며, 동일한 지연 제약 조건 하에서 이전 작업 대비 19.16% 향상되었다.
• 단지 32개의 校정 샘플만으로도 CIFAR-10에서 ResNet-18의 정확도를 4단계 시간 내에 25.42% 향상시켰으며, 높은 샘플 효율성을 입증했다.
• T=8일 때, CIFAR-100에서 거의 손실 없는 변환을 달성했으며, 정확도 손실은 0.38%에 불과하고 에너지 소비량은 원본 ANN의 16.11%에 그쳤다.
• 4단계 시간에서도 강력한 성능 유지를 보였으며, CIFAR-10에서 정확도와 지연 측면에서 최신 기술 수준의 직접 학습 방법을 초월했다.
• 에너지 효율성이 크게 향상되었으며, CIFAR-100에서 T=2일 때 SNN의 에너지 소비는 140.5 μJ(원본 ANN의 6.36%)에 그쳤고, 정확도는 73.20%를 유지하여 뛰어난 에너지 유지 능력을 입증했다.