[논문 리뷰] SEENN: Towards Temporal Spiking Early-Exit Neural Networks

Yuhang Li, Tamar Geller외 2명|arXiv (Cornell University)|2023. 04. 02.

Advanced Memory and Neural Computing인용 수 12

한 줄 요약

SEENN은 SEENN-I 신뢰도 기반 종료와 SEENN-II 강화 학습 종료를 통해 입력 조건화된 시간적 조기 종료를 Spiking Neural Networks(SNNs)에 제안하고, CIFAR, ImageNet 및 관련 데이터셋에서 평균 타임스텝을 크게 줄이면서도 최첨단 정확도를 달성하며 직접 학습과 ANN-SNN 변환 모두에 적용 가능합니다.

ABSTRACT

Spiking Neural Networks (SNNs) have recently become more popular as a biologically plausible substitute for traditional Artificial Neural Networks (ANNs). SNNs are cost-efficient and deployment-friendly because they process input in both spatial and temporal manner using binary spikes. However, we observe that the information capacity in SNNs is affected by the number of timesteps, leading to an accuracy-efficiency tradeoff. In this work, we study a fine-grained adjustment of the number of timesteps in SNNs. Specifically, we treat the number of timesteps as a variable conditioned on different input samples to reduce redundant timesteps for certain data. We call our method Spiking Early-Exit Neural Networks (SEENNs). To determine the appropriate number of timesteps, we propose SEENN-I which uses a confidence score thresholding to filter out the uncertain predictions, and SEENN-II which determines the number of timesteps by reinforcement learning. Moreover, we demonstrate that SEENN is compatible with both the directly trained SNN and the ANN-SNN conversion. By dynamically adjusting the number of timesteps, our SEENN achieves a remarkable reduction in the average number of timesteps during inference. For example, our SEENN-II ResNet-19 can achieve 96.1% accuracy with an average of 1.08 timesteps on the CIFAR-10 test dataset. Code is shared at https://github.com/Intelligent-Computing-Lab-Yale/SEENN.

연구 동기 및 목표

• 입력 난이도에 따라 타임스텝을 조건화하여 SNN의 타임스텝을 줄이면서도 정확도를 희생하지 않는 방법을 동기부여한다.
• SEENN을 SNN의 시동기 조기 종료를 위한 프레임워크로 도입하고 두 가지 종료 전략을 시연한다.
• SEENN이 직강 SNN과 ANN-SNN 변환 모두와의 호환성을 보여준다.
• SEENN가 표준 시각 데이터셋에서 정확도-효율성 트레이드오프를 개선한다는 실증적 근거를 제공한다.

제안 방법

• 입력마다 가변 타임스텝 T를 가지도록 SNN을 모델링하여 시간 차원에서의 조기 종료를 가능하게 한다.
• SEENN-I: 예측 출력을 결정하기 위해 신뢰도 점수 임계값을 사용한다.
• SEENN-II: 강화학습을 통해 타임스텝 선택 정책을 학습하여 정확도를 유지하면서 타임스텝을 최소화한다.
• SEENN-II에서 후보 타임스텝 중 하나를 원-핫 선택으로 출력하도록 작은 정책 네트워크를 학습하고 정책 그라디언트를 사용해 최적화한다.
• 타임스텝별 예측을 개선하기 위해 Temporal Efficient Training(TET) 손실로 SEENN을 학습하고, 필요시 SEENN-II에서 정책을 공동 학습할 수 있다.
• CIFAR-10/100, ImageNet, CIFAR10-DVS에 걸쳐 직접 학습 및 ANN-SNN 변환 설정 모두에서 평가한다.

실험 결과

연구 질문

• RQ1 샘플별 타임스텝 조정이 정확도를 해치지 않으면서 평균 추론 시간을 감소시킬 수 있는가?
• RQ2 신뢰도 기반 임계값과 RL 기반 정책이 데이터셋과 아키텍처 전반에서 효과적인 조기 종료 메커니즘을 제공하는가?
• RQ3 SEENN이 직접 학습 SNN과 ANN-SNN 변환 모두와 호환되는가, 각 설정에서의 성능 향상은 무엇인가?
• RQ4 SEENN이 SNN 추론의 대기 시간 및 에너지와 같은 하드웨어 지표에 어떤 영향을 미치는가?

주요 결과

• SEENN-I는 CIFAR-10에서 평균 1.09 타임스텝으로 96.07% 정확도를 달성합니다(베이스라인보다 더 높은 타임스텝).
• SEENN-I는 CIFAR-10에서 평균 1.20 타임스텝, 1.34 타임스텝에서 각각 96.38%, 96.44%의 정확도를 달성하여 적은 타임스텝으로도 강한 정확도를 보여줍니다.
• SEENN-II는 CIFAR-10/ResNet-19 계열에서 약 1.08–1.21 타임스텝으로 비교적 유사한 CIFAR-10 성능을 달성하고, 일부 경우 CIFAR-100에서 SEENN-I보다 더 높은 정확도(예: CIFAR-100에서 0.7% 포인트 상승)를 보일 수 있습니다.
• ImageNet에서 SEENN-I는 직접 학습에서 약 63.6–63.65% 정확도에 도달하는 데 훨씬 적은 타임스텝을 사용할 수 있습니다(예: ResNet-34: 2.28–2.35 타임스텝). SEENN-II는 설정에 따라 타임스텝을 약 1.79–1.79–2.40로 더 줄일 수 있습니다.
• CIFAR10-DVS에서 SEENN-I는 대부분의 베이스라인을 상회하며 약 2.5 타임스텝만으로도 가능하고, SEENN-II는 약 4.5 타임스텝에서 약 82.6% 정확도를 달성합니다.
• SEENN은 ANN-SNN 변환과의 호환성을 보여주며, 기존 변환 방법에 비해 더 높은 정확도와 더 짧은 타임스텝을 달성합니다(예: CIFAR-10에서 1.4 타임스텝으로 93.63% 달성 vs 베이스라인 변환 방법의 75.44%).
• SEENN은 하드웨어 효율성을 향상시켜 처리량을 증가시키고 에너지 소비를 줄일 수 있으며, SEENN-I는 GPU 실험에서 속도와 에너지 사용 모두에 동시 이점을 제공합니다.