[논문 리뷰] Enhancing the Performance of Transformer-based Spiking Neural Networks by SNN-optimized Downsampling with Precise Gradient Backpropagation

Chenlin Zhou, Han Zhang외 6명|arXiv (Cornell University)|2023. 05. 10.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 변형된 신경망 기반의 스파iking 신경망(SNN)에서 정확한 기울기 역전파를 가능하게 하는 SNN 최적화된 다운샘플링 모듈인 ConvBN-MaxPooling-LIF(CML)을 제안한다. 이는 기존 SNN에서 기인하는 기울기 정확도 부족으로 인한 성능 저하 문제를 해결한다. CML은 ImageNet에서 77.64%의 상위-1 정확도와 CIFAR10-DVS에서 81.4%의 정확도를 기록하며, Spikingformer 대비 각각 +1.79% 및 +1.16% 향상된 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Deep spiking neural networks (SNNs) have drawn much attention in recent years because of their low power consumption, biological rationality and event-driven property. However, state-of-the-art deep SNNs (including Spikformer and Spikingformer) suffer from a critical challenge related to the imprecise gradient backpropagation. This problem arises from the improper design of downsampling modules in these networks, and greatly hampering the overall model performance. In this paper, we propose ConvBN-MaxPooling-LIF (CML), an SNN-optimized downsampling with precise gradient backpropagation. We prove that CML can effectively overcome the imprecision of gradient backpropagation from a theoretical perspective. In addition, we evaluate CML on ImageNet, CIFAR10, CIFAR100, CIFAR10-DVS, DVS128-Gesture datasets, and show state-of-the-art performance on all these datasets with significantly enhanced performances compared with Spikingformer. For instance, our model achieves 77.64 $\%$ on ImageNet, 96.04 $\%$ on CIFAR10, 81.4$\%$ on CIFAR10-DVS, with + 1.79$\%$ on ImageNet, +1.16$\%$ on CIFAR100 compared with Spikingformer.

연구 동기 및 목표

• 변형된 신경망 기반 스파킹 신경망(SNN)에서 기울기 역전파의 정확도가 떨어지는 문제로 인해 모델 성능이 제한되는 핵심 문제를 해결하기 위해.
• SNN에 특별히 최적화된 다운샘플링 모듈을 설계하여 학습 중 기울기 흐름의 정확성을 보장하기 위해.
• 사전 학습된 ANN의 정규화 기반 정규화 기법을 사용하지 않고도 직접 학습 가능한 SNN의 성능을 향상시키기 위해.
• 정적 이미지 및 뉴로모픽 이벤트 기반 데이터를 포함한 다양한 데이터셋에서 제안된 모듈의 효과를 검증하기 위해.

제안 방법

• 스팸핑 뉴런의 막 전위를 통해 미분 가능한 활성화 경로를 유지함으로써 정확한 기울기 역전파를 가능하게 하는, 합성곱, 배치 정규화, 최대 풀링 및 LIF 스파킹 뉴런을 조합한 새로운 다운샘플링 모듈인 ConvBN-MaxPooling-LIF(CML)을 제안한다.
• 기존의 다운샘플링 레이어를 대체하기 위해 CML을 변형된 신경망 기반 SNN에 통합함으로써 스파킹 동역학과의 기울기 호환성을 확보한다.
• 이론적 분석을 통해 CML이 스파킹 뉴런의 막 전위를 통해 기울기 역전파를 정확하게 유지함으로써 가능하다는 것을 증명한다.
• CML이 기울기 역전파 중 안정적이고 정확한 기울기 신호를 보장하므로, 서로 가속화된 기울기 방법을 사용해 SNN을 종단 간(end-to-end)으로 학습한다.
• 기존 모델과 동일한 학습 프로토콜과 하이퍼파라미터를 유지하면서 CML을 Spikformer 및 Spikingformer 모델에 적용한다.

실험 결과

연구 질문

• RQ1 SNN에 특별히 설계된 다운샘플링 모듈이 기울기 정확도를 향상시켜 모델 성능을 향상시킬 수 있는가?
• RQ2 제안된 CML 모듈이 Spikformer 및 Spikingformer와 같은 기존 변형된 신경망 기반 SNN에서 내재된 기울기 정확도 문제를 해결할 수 있는가?
• RQ3 CML은 정적 이미지 및 뉴로모픽 이벤트 기반 데이터셋 모두에서 얼마나 성능을 향상시킬 수 있는가?
• RQ4 CML은 사전 학습된 ANN의 정규화 기반 지식 정규화 없이 직접 학습 가능한 SNN에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• CML은 ImageNet에서 77.64%의 상위-1 정확도를 기록하며, Spikingformer 대비 +1.79% 향상되었다.
• CIFAR100에서 Spikingformer + CML 모델은 81.4%의 정확도를 기록하며, 원본 Spikingformer 대비 +1.16% 향상되었다.
• CIFAR10-DVS에서 Spikingformer + CML은 16개 시간 단계에서 81.4%의 상위-1 정확도를 달성하여 직접 학습 가능한 SNN 중 최신 기술 수준(SOTA)을 수립했다.
• DVS128-Gesture에서 Spikingformer + CML은 16개 시간 단계에서 98.6%의 상위-1 정확도를 기록하며, 이 또한 직접 학습 가능한 SNN 중 최신 기술 수준(SOTA)을 수립했다.
• 성능 향상 효과는 다양한 데이터셋에서 일관되게 나타나 CML의 다양한 데이터 모odal 및 네트워크 아키텍처에 대한 일반화 능력을 확인한다.