[논문 리뷰] Convolutional Spiking Neural Networks for Spatio-Temporal Feature Extraction

Ali Samadzadeh, Fatemeh Sadat Tabatabaei Far외 3명|arXiv (Cornell University)|2020. 03. 27.

Advanced Memory and Neural Computing인용 수 11

한 줄 요약

이 논문은 이벤트 기반 데이터에서 효과적인 시공간 특징 추출을 가능하게 하는 수정된 시간 역전파(BPTT) 방법을 갖춘 새로운 딥 스파iking 신경망(STS-ResNet)을 제안한다. 다양한 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, NMNIST에서는 99.6%의 정확도와 DVS-CIFAR10에서는 69.2%의 정확도를 기록했고, 이는 바이너리 스파이크 기반 계산과 잔차 연결을 통해 낮은 계산 비용과 메모리 사용량을 유지한 결과이다.

ABSTRACT

Spiking neural networks (SNNs) can be used in low-power and embedded systems (such as emerging neuromorphic chips) due to their event-based nature. Also, they have the advantage of low computation cost in contrast to conventional artificial neural networks (ANNs), while preserving ANN's properties. However, temporal coding in layers of convolutional spiking neural networks and other types of SNNs has yet to be studied. In this paper, we provide insight into spatio-temporal feature extraction of convolutional SNNs in experiments designed to exploit this property. The shallow convolutional SNN outperforms state-of-the-art spatio-temporal feature extractor methods such as C3D, ConvLstm, and similar networks. Furthermore, we present a new deep spiking architecture to tackle real-world problems (in particular classification tasks) which achieved superior performance compared to other SNN methods on NMNIST (99.6%), DVS-CIFAR10 (69.2%) and DVS-Gesture (96.7%) and ANN methods on UCF-101 (42.1%) and HMDB-51 (21.5%) datasets. It is also worth noting that the training process is implemented based on variation of spatio-temporal backpropagation explained in the paper.

연구 동기 및 목표

• 기존의 인공 신경망(ANNs)을 초월한 시공간 특징 추출 능력을 갖춘 컨볼루션 스파이킹 신경망(SNNs)의 성능을 조사하는 것.
• 시간 역전파(BPTT) 방법에서 기울기 소실 문제로 인해 깊은 SNN을 훈련시키는 데 도전하는 것.
• 실세계 이벤트 기반 데이터셋에서 기존의 SNN 및 ANN 모델을 능가하는 더 깊은 SNN 아키텍처를 설계할 수 있는 훈련 방법을 개발하는 것.
• 특히 시간적 데이터 처리에서 SNN이 ANNs보다 훨씬 낮은 계산 및 메모리 비용으로 뛰어난 성능을 낼 수 있음을 입증하는 것.

제안 방법

• 기울기 소실 문제를 완화하기 위해 시간 역전파 적용 이전에 비스파이킹 가중치로 네트워크를 사전 훈련하는 수정된 BPTT 기반 훈련 방법을 제안한다.
• 更深이 SNN 아키텍처에서 훈련을 안정화하기 위해 ResNet에서 영감을 얻은 스킵 연결을 도입한다.
• 스파이크 이벤트를 통한 기울기 흐름을 가능하게 하기 위해 딜타 함수의 도함수에 가우시안 근사를 적용한다.
• 시간 처리를 위해 10개의 프레임 윈도우 크기를 사용하며, 각 프레임 당 이벤트 시퀀스를 연결하여 시공간 역학을 유지한다.
• 분류 작업을 위해 Adam 및 SGD 최적화기와 바이너리 크로스엔트로피 손실을 사용하며, 임계값 기반 스파이크 생성 방식을 적용하고, 데이터셋에 따라 감쇠 인자 0.5~0.8을 설정한다.
• 정확도 향상을 위해 쉬는 메커니즘을 비활성화하며, 약간의 희소성 손실을 감수한다.

실험 결과

연구 질문

• RQ1 컨볼루션 SNN은 이벤트 기반 데이터에서 시공간 특징을 효과적으로 추출할 수 있으며, 기존의 ANNs와 비교해 어떤 성능을 보일 수 있는가?
• RQ2 시간 역전파 동안 기울기 소실 문제를 극복하기 위해 깊은 SNN을 훈련시키는 데 효과적인 훈련 전략은 무엇인가?
• RQ3 제안된 아키텍처는 실세계 이벤트 기반 데이터셋에서 최신 기술 수준의 SNN 및 ANN 모델과 비교해 어떻게 성능을 내는가?
• RQ4 SNN은 ANNs에 비해 얼마나 낮은 메모리 및 계산 비용으로 높은 정확도를 달성할 수 있는가?

주요 결과

• 얕은 컨볼루션 SNN은 합성 시공간 특징 추출 작업에서 C3D, ConvLSTM 및 유사 네트워크를 능가한다.
• 제안된 STS-ResNet 아키텍처는 NMNIST에서 99.6%의 정확도를 기록하며, 이는 이전의 최신 기술 수준 SNN 방법을 뛰어넘고, 이 벤치마크에서 ANN 성능과 동일하거나 이를 초월한다.
• DVS-CIFAR10에서 모델은 69.2%의 정확도를 기록하여 이 데이터셋에서 SNN 분야의 새로운 최신 기술 수준을 수립한다.
• DVS-Gesture에서 모델은 96.7%의 정확도를 기록하며, 실세계 제스처 인식 작업에서 뛰어난 성능을 보여준다.
• UCF-101에서 모델은 42.1%의 정확도를 기록하며, SNN 및 ANN 기반 모델(예: ResNet18+scratch는 42.4%)을 모두 능가하며 행동 인식 분야에서 경쟁력 있는 성능을 보인다.
• HMDB-51에서 모델은 21.5%의 정확도를 기록하며, ResNet18+scratch 기반 베이스라인(17.1%)을 크게 능가하며 도전적인 시간 행동 인식 작업에서 뛰어난 강건성을 보여준다.