[논문 리뷰] Advancing Deep Residual Learning by Solving the Crux of Degradation in Spiking Neural Networks

Yifan Hu, Yujie Wu외 2명|arXiv (Cornell University)|2021. 12. 09.

Advanced Memory and Neural Computing인용 수 6

한 줄 요약

이 논문은 스파iking 신경망(SNNs)를 위한 새로운 잔차 블록을 제안하며, 스파이크 기반 통신과 시공간 동역학을 활용하여 깊은 SNN에서의 열화 문제를 해결한다. 이는 CIFAR-10에서 최대 482층, ImageNet에서 104층의 SNN을 정확도 저하 없이 훈련 가능하게 하며, 평균 한 신경세포당 한 번의 스파이크만으로도 ImageNet에서 76.02%의 상위-1 정확도를 달성한다. 이는 직접 훈련된 SNN 중 최초의 성과이며, 에너지 효율성도 매우 뛰어나다.

ABSTRACT

Despite the rapid progress of neuromorphic computing, the inadequate depth and the resulting insufficient representation power of spiking neural networks (SNNs) severely restrict their application scope in practice. Residual learning and shortcuts have been evidenced as an important approach for training deep neural networks, but rarely did previous work assess their applicability to the characteristics of spike-based communication and spatiotemporal dynamics. This negligence leads to impeded information flow and the accompanying degradation problem. In this paper, we identify the crux and then propose a novel residual block for SNNs, which is able to significantly extend the depth of directly trained SNNs, e.g., up to 482 layers on CIFAR-10 and 104 layers on ImageNet, without observing any slight degradation problem. We validate the effectiveness of our methods on both frame-based and neuromorphic datasets, and our SRM-ResNet104 achieves a superior result of 76.02% accuracy on ImageNet, the first time in the domain of directly trained SNNs. The great energy efficiency is estimated and the resulting networks need on average only one spike per neuron for classifying an input sample. We believe our powerful and scalable modeling will provide a strong support for further exploration of SNNs.

연구 동기 및 목표

• 스파이크 기반 통신에서 정보 흐름이 열악한 데 기인한 깊은 SNN에서의 열화 문제를 해결하기 위해.
• 잔차 학습과 숏컷 연결을 스파iking 뉴런의 고유한 동역학과 시간 정보 처리에 적합하도록 조정하기 위해.
• 정확도 저하 없이 직접적으로 초고도의 SNN을 훈련시켜 표현 능력을 향상시키기 위해.
• 프레임 기반 및 뉴로모픽 데이터셋에서 최고 수준의 성능을 달성하면서도 높은 에너지 효율성을 확보하기 위해.

제안 방법

• 시간 동역학을 유지하고 안정적인 시간에 따른 역전파를 가능하게 하는 SNN에 특화된 새로운 잔차 블록을 설계하기 위해.
• 스파이크 시기와 시냅스 통합을 고려한 스킵 연결을 통합하여 안정적인 기울기 흐름을 보장하기 위해.
• 시간적 및 공간적 신호 왜곡을 최소화하여 수백 층에 걸쳐 정보 무결성을 유지하도록 잔차 블록을 최적화하기 위해.
• 스파이크의 비미분 가능성에 주의를 기울이며 종단 간 훈련을 가능하게 하는 수정된 역전파 알고리즘을 사용하기 위해.
• SRM-ResNet 아키텍처에 블록을 적용하고, CIFAR-10 및 ImageNet과 같은 표준 데이터셋에서 직접 훈련하기 위해.
• 입력 샘플당 평균 한 번의 스파이크만 발생하도록 하여 에너지 효율성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 잔차 학습이 스파킹 신경망에 효과적으로 적용되어 초고도 아키텍처에서의 열화를 방지할 수 있는가?
• RQ2 스파이크 시기와 시공간 동역학을 유지하면서 SNN에서 안정적인 훈련을 가능하게 하기 위해 스킵 연결을 어떻게 설계할 수 있는가?
• RQ3 정확도 저하 없이 직접 훈련된 SNN에서 도달할 수 있는 최대 깊이의 한계는 무엇인가?
• RQ4 SNN가 초저전력 스파이크 활동을 유지하면서도 ImageNet에서 최고 수준의 정확도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 CIFAR-10에서 정확도 저하 없이 최대 482층의 SNN 훈련이 가능하다.
• ImageNet에서 SRM-ResNet104는 76.02%의 상위-1 정확도를 달성하였으며, 직접 훈련된 SNN 중 보고된 바 가장 높은 성능이다.
• 극도의 깊이에서도 높은 정확도를 유지하여 깊이에 기인한 열화에 대한 강건성을 입증한다.
• 결과로 도출된 SNN는 입력 샘플당 평균 한 번의 스파이크만 소비하여 놀라운 에너지 효율성을 보인다.
• 이 방법은 프레임 기반 및 뉴로모픽 데이터셋 모두에서 효과적이며, 광범위한 적용 가능성을 보여준다.