[논문 리뷰] Optimal ANN-SNN Conversion for Fast and Accurate Inference in Deep Spiking Neural Networks

Jianhao Ding, Zhaofei Yu외 2명|arXiv (Cornell University)|2021. 05. 25.

Advanced Memory and Neural Computing참고 문헌 25인용 수 13

한 줄 요약

이 논문은 Rate Norm 레이어와 최적의 피팅 곡선을 사용하여 이론적으로 탄탄한 최적의 ANN-SNN 변환 방법을 제안한다. 이는 기준 방법 대비 근접 손실 없는 정확도를 달성하고, 8.6배 빠른 추론 속도와 0.265배의 에너지 소비를 실현한다. 이 방법은 훈련 중 활성화 스케일링을 재정의하여 변환 오차를 최소화하고 추론 속도를 최적화한다.

ABSTRACT

Spiking Neural Networks (SNNs), as bio-inspired energy-efficient neural networks, have attracted great attentions from researchers and industry. The most efficient way to train deep SNNs is through ANN-SNN conversion. However, the conversion usually suffers from accuracy loss and long inference time, which impede the practical application of SNN. In this paper, we theoretically analyze ANN-SNN conversion and derive sufficient conditions of the optimal conversion. To better correlate ANN-SNN and get greater accuracy, we propose Rate Norm Layer to replace the ReLU activation function in source ANN training, enabling direct conversion from a trained ANN to an SNN. Moreover, we propose an optimal fit curve to quantify the fit between the activation value of source ANN and the actual firing rate of target SNN. We show that the inference time can be reduced by optimizing the upper bound of the fit curve in the revised ANN to achieve fast inference. Our theory can explain the existing work on fast reasoning and get better results. The experimental results show that the proposed method achieves near loss less conversion with VGG-16, PreActResNet-18, and deeper structures. Moreover, it can reach 8.6x faster reasoning performance under 0.265x energy consumption of the typical method. The code is available at https://github.com/DingJianhao/OptSNNConvertion-RNL-RIL.

연구 동기 및 목표

• 스피킹 신경망의 실용적 구현을 저해하는 정확도 저하와 긴 추론 시간 문제를 해결하기 위해.
• 최적의 ANN-SNN 변환을 위한 충분한 이론적 조건을 도출하여 인공망에서 스파iking 망으로의 정밀한 매핑을 가능하게 하기 위해.
• 가장자리 활성화 함수인 ReLU를 대체하여 가속도가 가능한 학습 가능한 Rate Norm 레이어를 도입함으로써 변환 정밀도를 향상시키기 위해.
• ANN 활성화와 SNN 화재율 사이의 피팅 곡선의 상한을 최소화하여 추론 속도를 최적화하기 위해.
• VGG-16 및 PreActResNet-18와 같은 깊은 네트워크에서 최신 기술 수준의 성능을 달성하면서 정확도 손실와 에너지 오버헤드를 최소화하기 위해.

제안 방법

• ReLU를 대체하는 Rate Norm 레이어를 도입하여, 학습 가능한 파라미터 $ p_k $ 와 러닝 최댓값 $ \text{r\_max}_k $ 를 사용해 활성화를 스케일링함으로써 ANN과 SNN의 다이내믹스 간의 보다 나은 일치를 가능하게 한다.
• Simulated와 실제 SNN 화재율 간 오차를 정량화하기 위해 $ K_l < \frac{2\Omega_l}{t} $ 로 정의된 최적의 피팅 곡선을 제안하며, 여기서 $ \Omega_l = \frac{\|\hat{\bm{r}}_l\|_1}{\|\hat{\bm{r}}_l\|_2^2} $ 이다.
• 두 단계 훈련 프로세스를 적용한다: 첫 번째 단계에서는 Rate Norm 레이어를 갖춘 소스 ANN을 정확도를 유지하면서 훈련하고, 두 번째 단계에서는 활성화와 화재율 간의 피팅 오차를 최소화하기 위해 스케일링 파라미터 $ p_k $ 를 미세조정한다.
• Stage 2 동안 레이어 간에 공유된 $ p_k $ 를 사용하여 훈련 안정성을 향상시키고, $ p_k \in [0,1] $ 를 제약하기 위해 $ \text{sigmoid}(p'_k) $ 를 적용한다.
• 최종 ANN을 SNN으로 변환하기 위해 가중치, 편향, 임계값을 직접 이전한다. 여기서 $ v_{\text{th},k} = \theta_k = p_k \cdot \text{r\_max}_k $ 이다.
• Stage 2에서 원래 활성화 궤적과 변환된 궤적 간의 $ L^2 $ 오차를 최소화하기 위해 새로운 손실 함수 $ \mathscr{T}(\hat{\bm{r}}_L^*, \hat{\bm{r}}_L') $ 를 사용한다.

실험 결과

연구 질문

• RQ1 최소한의 정확도 손실로 최적의 ANN에서 SNN로의 변환을 보장하는 이론적 조건은 무엇인가?
• RQ2 ANN 활성화와 SNN 화재율 간의 관계를 정량적으로 모델링하여 변환 정밀도를 향상시킬 수 있는가?
• RQ3 학습 가능한 정규화 레이어가 ReLU를 대체하여 전체 SNN을 재학습하지 않고도 더 나은 변환을 가능하게 할 수 있는가?
• RQ4 ANN과 SNN 출력 간 피팅 곡선의 상한을 최적화함으로써 추론 속도를 얼마나 향상시킬 수 있는가?
• RQ5 제안된 방법이 VGG-16 및 PreActResNet-18와 같은 깊은 아키텍처에서 근접 손실 없는 변환을 달성하는가?

주요 결과

• 제안된 방법은 VGG-16 및 PreActResNet-18에서 근접 손실 없는 변환을 달성하여 원본 ANN 대비 최소한의 정확도 손실을 기록한다.
• 기본 방법 대비 추론 시간을 최대 8.6배 빠르게 하면서 에너지 소비는 0.265배로 줄였다.
• 이론적 분석을 통해 시뮬레이션된 화재율과 실제 화재율 간의 오차가 $ \frac{2\Omega_l}{t} $ 로 상한이 둘 수 있음을 확인하여 변환 품질을 체계적으로 제어할 수 있는 방법을 제공한다.
• 학습 가능한 스케일링 파라미터 $ p_k $ 를 갖는 Rate Norm 레이어의 사용은 Max Norm 또는 Robust Norm과 같은 고정 정규화 방법보다 변환 정확도를 크게 향상시킨다.
• 정확도 중심 훈련과 속도 최적화 미세조정으로 구성된 두 단계 훈련 프로세스는 하나의 프레임워크 안에서 높은 정확도와 빠른 추론을 동시에 달성할 수 있도록 한다.
• 특히 더 깊은 네트워크와 복잡한 데이터셋에서 기존 방법들보다 정확도와 추론 속도 면에서 모두 뛰어난 성능을 발휘한다.