[논문 리뷰] Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks

Lang Feng, Qianhui Liu외 3명|arXiv (Cornell University)|2022. 10. 12.

Advanced Memory and Neural Computing인용 수 12

한 줄 요약

이 논문은 직접 학습된 스파iking 신경망(SNNs)에서 기울기 소실과 네트워크 열화를 극복하기 위해 다중수준 발화(MLF)와 스파이킹 DS-ResNet을 제안한다. MLF는 근사 도함수의 비영 영역을 확장하고 다중 임계값 스파이크 생성을 통해 신경망 표현력을 향상시킨다. 반면 스파이킹 DS-ResNet은 이산 스파이크의 효율적 인성 매핑을 가능하게 한다. 이 방법은 CIFAR10, DVS-Gesture, CIFAR10-DVS에서 유의미하게 적은 파라미터로 최신 기준 성능을 달성하며, 68층의 SNN도 열화 없이 학습이 가능하다.

ABSTRACT

Spiking neural networks (SNNs) are bio-inspired neural networks with asynchronous discrete and sparse characteristics, which have increasingly manifested their superiority in low energy consumption. Recent research is devoted to utilizing spatio-temporal information to directly train SNNs by backpropagation. However, the binary and non-differentiable properties of spike activities force directly trained SNNs to suffer from serious gradient vanishing and network degradation, which greatly limits the performance of directly trained SNNs and prevents them from going deeper. In this paper, we propose a multi-level firing (MLF) method based on the existing spatio-temporal back propagation (STBP) method, and spiking dormant-suppressed residual network (spiking DS-ResNet). MLF enables more efficient gradient propagation and the incremental expression ability of the neurons. Spiking DS-ResNet can efficiently perform identity mapping of discrete spikes, as well as provide a more suitable connection for gradient propagation in deep SNNs. With the proposed method, our model achieves superior performances on a non-neuromorphic dataset and two neuromorphic datasets with much fewer trainable parameters and demonstrates the great ability to combat the gradient vanishing and degradation problem in deep SNNs.

연구 동기 및 목표

• 스파이크 활동의 비미분 가능성과 이진성으로 인해 발생하는 직접 학습 SNN에서의 기울기 소실과 네트워크 열화 문제를 해결하기 위해.
• 백프로파게이션에서 사용하는 근사 도함수의 비영 영역을 확장하여 깊은 SNN에서 기울기 흐름을 향상시키기 위해.
• 다중 임계값 스파이크 생성을 통해 스파이킹 뉴런의 표현 능력을 향상시키기 위해.
• 새로운 잔차 아키텍처를 통해 깊은 SNN에서 이산 스파이크의 효과적인 인성 매핑을 가능하게 하기 위해.
• 더 적은 학습 가능 파라미터로 뉴로모르픽 및 비뉴로모르픽 데이터셋 모두에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 근사 도함수의 커버리지가 여러 수준으로 분할되는 다중수준 발화(MLF)를 제안하여 도함수 함수의 비영 영역을 확장한다.
• MLF 유닛에 다중 임계값 활성화 메커니즘을 도입하여 입력 강도에 따라 다양한 임계값에서 스파이크를 생성할 수 있도록 하여 특징 표현을 향상시킨다.
• 깊은 SNN에서 이산 스파이크 신호의 효율적 인성 매핑을 가능하게 하는 잔차 아키텍처인 스파이킹 DS-ResNet을 설계한다.
• 스파이킹 DS-ResNet을 활용해 수면화된 유닛 생성 확률을 감소시켜 깊은 네트워크에서 기울기 전파를 향상시킨다.
• MLF와 스파이킹 DS-ResNet을 결합하여 직접 학습 SNN에서 기울기 흐름과 네트워크 깊이 능력을 모두 향상시킨다.
• 스파티오토르피컬 백프로파게이션(STBP)을 학습 프레임워크로 사용하며, MLF가 기울기 계산의 안정성과 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중수준 발화는 깊은 SNN에서 수면화된 유닛 비율을 줄이고 기울기 소실을 완화할 수 있는가?
• RQ2 스파이킹 DS-ResNet은 이산 스파이크의 효과적인 인성 매핑을 수행하고 깊은 SNN에서 네트워크 열화를 줄일 수 있는가?
• RQ3 MLF와 스파이킹 DS-ResNet의 조합은 성능 열화 없이 매우 깊은 SNN을 학습하는 데 기여하는가?
• RQ4 제안된 방법은 더 적은 파라미터로 뉴로모르픽 및 비뉴로모르픽 데이터셋 모두에서 최신 기준 성능을 달성할 수 있는가?
• RQ5 MLF의 수준 수가 네트워크의 날카운 특징 표현 능력과 전체 정확도에 어떤 영향을 미치는가?

주요 결과

• MLF는 수면화된 유닛 비율을 크게 감소시켜 단일 수준 SNN에서 40% 이상이었던 비율을 다중 수준 구성에서 15% 이하로 낮춘다.
• MLF를 적용한 SNN의 학습 및 테스트 정확도는 수준 수가 증가함에 따라 점진적으로 향상되며, K=1에서 K=2로 넘어갈 때 가장 큰 성능 향상이 관찰된다.
• MLF를 적용한 스파이킹 DS-ResNet은 CIFAR10에서 68층 SNN을 열화 없이 학습시키며 테스트 정확도 93.48%를 달성한다.
• CIFAR10에서 68층일 때도 93.48%의 정확도를 기록하여, 이 방법이 매우 깊은 SNN에서 네트워크 열화를 효과적으로 억제함을 입증한다.
• 경쟁 기법 대비 훨씬 적은 학습 가능 파라미터로 CIFAR10, DVS-Gesture, CIFAR10-DVS에서 최신 기준 성능을 달성한다.
• 제거 분석 결과 MLF가 기울기 흐름과 수렴 속도를 향상시키며, 스파이킹 DS-ResNet이 깊은 아키텍처에서 학습 안정성을 높인다.