[논문 리뷰] Technical report: supervised training of convolutional spiking neural networks with PyTorch

Romain Zimmer, Thomas Pellegrini외 2명|arXiv (Cornell University)|2019. 11. 22.

Advanced Memory and Neural ComputingEngineering인용 수 17

한 줄 요약

이 논문은 PyTorch에서 서지에이트 기울기와 함께 시간에 따른 역전파를 사용하여 컨volutional 스파iking 신경망(SNNs)을 지도학습하는 프레임워크를 제시한다. 공간적 및 시간적 컨볼루션, Denève가 영감을 준 횡방향 연결을 도입하여, 약 5Hz의 낮은 발화 빈도로 Google Speech Commands 데이터셋에서 94%의 정확도를 달성하며, 이벤트 기반 학습에서 SNN의 최신 기술 수준 성능을 입증한다.

ABSTRACT

Recently, it has been shown that spiking neural networks (SNNs) can be trained efficiently, in a supervised manner, using backpropagation through time. Indeed, the most commonly used spiking neuron model, the leaky integrate-and-fire neuron, obeys a differential equation which can be approximated using discrete time steps, leading to a recurrent relation for the potential. The firing threshold causes optimization issues, but they can be overcome using a surrogate gradient. Here, we extend previous approaches in two ways. Firstly, we show that the approach can be used to train convolutional layers. Convolutions can be done in space, time (which simulates conduction delays), or both. Secondly, we include fast horizontal connections à la Denève: when a neuron N fires, we subtract to the potentials of all the neurons with the same receptive the dot product between their weight vectors and the one of neuron N. As Denève et al. showed, this is useful to represent a dynamic multidimensional analog signal in a population of spiking neurons. Here we demonstrate that, in addition, such connections also allow implementing a multidimensional send-on-delta coding scheme. We validate our approach on one speech classification benchmarks: the Google speech command dataset. We managed to reach nearly state-of-the-art accuracy (94%) while maintaining low firing rates (about 5Hz). Our code is based on PyTorch and is available in open source at http://github.com/romainzimmer/s2net

연구 동기 및 목표

• 시간에 따른 역전파를 사용하여 깊이 있는 컨volutional 스파킹 신경망(SNNs)을 학습할 수 있는 확장 가능하고 미분 가능한 프레임워크를 개발하기 위해.
• SNN 학습을 공간적 및 시간적 컨볼루션으로 확장하여, 음성과 같은 동적이고 시간에 따라 변하는 신호를 처리할 수 있도록 하기 위해.
• Denève의 방식에 따라 횡방향 연결을 통합하여 다차원의 send-on-delta 코딩을 구현하고 신호 표현을 향상시키기 위해.
• 희박하고 생물학적으로 타당한 스파이크 활동을 유지하면서도 고정확도를 달성하여 표준 DNN 성능에 가까워지도록 하기 위해.
• SNN 연구의 진입 장벽을 낮추기 위해 오픈소스로 제공되는, PyTorch 기반의 구현을 제공하기 위해.

제안 방법

• 시간에 따른 미분 방정식을 이산 시간 단위로 근사하여 β = e^(-h/τ)로 설정한, 누설적 적분-화이어링(LIF) 뉴런 모델을 사용한다.
• 비미분 가능한 화이어링 임계값을 처리하기 위해 서지에이트 기울기 역전파를 적용하며, 기울기 스케일은 10으로 설정한다.
• 공간적 및 시간적 차원에서 모두 작동하는 컨볼루션 레이어를 구현하며, 커널 크기는 시간 축과 주파수 축에 대해 H×W이다.
• 횡방향 수평 연결을 도입한다: 뉴런이 화이어링할 경우, 동일한 수용체 영역 내 뉴런의 잠재적 전위가 그 뉴런의 가중치 벡터와의 내적을 통해 업데이트된다.
• 스파이크 활동에 L2 정규화를 적용한 완전 연결 읽기 레이어를 사용하여 희박성을 강화하고 발화 빈도를 감소시킨다.
• Rectified-Adam 옵timizer를 사용하며, 학습률은 10⁻³, 가중치 감쇠는 10⁻⁵, 기울기 클리핑을 통해 학습을 안정화시킨다.

실험 결과

연구 질문

• RQ1 시간에 따른 역전파와 서지에이트 기울기를 사용하여 컨볼루션 스파킹 신경망을 효과적으로 학습시킬 수 있는가?
• RQ2 횡방향 수평 연결의 통합이 SNN의 신호 표현 및 분류 성능에 향상 효과를 주는가?
• RQ3 SNN은 낮은 스파이크 빈도를 유지하면서도 음성 인식 작업에서 고정확도를 달성할 수 있는가?
• RQ4 공간적 및 시간적 컨볼루션의 조합이 이벤트 기반 학습에서 성능에 어떤 영향을 미치는가?
• RQ5 큰 시간 스텝 이산화를 사용할 경우, 시간에 따른 순환은 필수적인가?

주요 결과

• 모델은 Google Speech Commands 데이터셋에서 94%의 정확도를 달성하여 표준 DNN의 성능(96–97%)에 가까워졌다.
• 네트워크는 약 5Hz의 매우 낮은 평균 발화 빈도를 유지하여, 매우 희박하고 에너지 효율적인 활동을 보였다.
• 정규화 계수는 희박성과 정확도 사이의 트레이드오프를 효과적으로 제어하며, 그림 6.2에서 이를 확인할 수 있다.
• 횡방향 수평 연결은 다차원 send-on-delta 코딩 방식을 가능하게 하여 네트워크 내 신호 표현을 향상시켰다.
• 횡방향 연결이 없어도 모델의 성능는 유사하게 유지되어, 이 연결이 이 작업에 있어 유용하지만 반드시 필요하지는 않음을 시사한다.
• 큰 시간 스텝 이산화를 사용할 경우, 시간에 따른 순환은 필수적이지 않으며, 각 시간 스텝을 독립적으로 처리하는 것으로도 충분하다.