[논문 리뷰] Deep Spiking Networks

Peter O’Connor, Max Welling|arXiv (Cornell University)|2016. 02. 26.

Advanced Memory and Neural Computing참고 문헌 8인용 수 53

한 줄 요약

이 논문은 연속적이고 미분 가능한 대체 기울기( surrogate gradient )를 사용하는 스파iking 뉴런을 활용해 엔드 투 엔드 학습이 가능한 새로운 신경망 아키텍처인 딥 스파이킹 네트워크(Deep Spiking Networks, DSN)를 제안한다. 유도적 적분-화염 기반의 뉴런 동역학을 모델링하고, 정류선형 단위(ReLU) 대체 기울기를 적용함으로써 DSN은 순차적 및 시공간적 작업에서 높은 정확도를 달성하면서도 생물학적 타당성과 에너지 효율성을 유지한다.

ABSTRACT

We introduce an algorithm to do backpropagation on a spiking network. Our network is "spiking" in the sense that our neurons accumulate their activation into a potential over time, and only send out a signal (a "spike") when this potential crosses a threshold and the neuron is reset. Neurons only update their states when receiving signals from other neurons. Total computation of the network thus scales with the number of spikes caused by an input rather than network size. We show that the spiking Multi-Layer Perceptron behaves identically, during both prediction and training, to a conventional deep network of rectified-linear units, in the limiting case where we run the spiking network for a long time. We apply this architecture to a conventional classification problem (MNIST) and achieve performance very close to that of a conventional Multi-Layer Perceptron with the same architecture. Our network is a natural architecture for learning based on streaming event-based data, and is a stepping stone towards using spiking neural networks to learn efficiently on streaming data.

연구 동기 및 목표

• 시간에 따라 역전파(backpropagation through time)를 사용하는 디퍼런셜 대체 기울기를 활용해 스파이킹 신경망과 딥 러닝 프레임워크를 통합하는 것.
• 순차적 데이터에 대한 딥 스파이킹 네트워크의 엔드 투 엔드 학습을 가능하게 하되, 시간 동적 특성과 스파이크 기반 계산을 유지하는 것.
• 비미분 가능한 스파이크 함수에 대해 연속적이고 미분 가능한 근사치를 도입함으로써 학습의 안정성과 성능을 향상시키는 것.
• 스파이킹 네트워크가 생물학적 타당성을 훼손하지 않으면서도 벤치마크 순차적 작업에서 경쟁 가능한 정확도를 달성할 수 있음을 입증하는 것.

제안 방법

• 네트워크는 시간 단계 $t \in [1..T]$ 동안 순차적 입력 벡터 $\vec{v_t} \in \mathbb{R}^d$ 를 유도적 적분-화염 뉴런 모델을 사용해 처리한다.
• 내부 상태 $\vec{\phi} \in \mathbb{R}^d$ 는 시간에 따라 입력을 누적하며, 세포막의 잠금 잠금을 나타낸다.
• 최대 $\vec{\phi}$ 가 $\frac{1}{2}$ 를 초과할 경우 스파이크가 발생하며, 잠금 잠금이 가장 높은 뉴런이 발화한다.
• 스파이크 발생 후, $\vec{\phi}$ 의 해당 성분은 1을 빼어 재설정하여 반복 금지 상태를 시뮬레이션한다.
• 스파이크 함수는 시간에 따라 역전파를 가능하게 하기 위해 ReLU 기반의 대체 기울기로 근사된다.
• 네트워크는 스파이크 함수의 미분 가능한 대체 기울기를 통해 계산된 기울기를 사용해 표준 백프로파게이션으로 학습된다.

실험 결과

연구 질문

• RQ1 비미분 가능한 스파이크 함수에 대해, 다양한 대체 기울기를 사용하는 스파이킹 신경망을 시간에 따라 역전파를 통해 효과적으로 학습시킬 수 있는가?
• RQ2 딥 스파이킹 네트워크의 성능은 순차적 작업에서 표준 피드포워드 또는 순환 네트워크와 비교해 어떻게 되는가?
• RQ3 제안된 대체 기울기는 스파이킹 뉴런의 생물학적 타당성을 유지하면서도 안정적인 학습을 가능하게 하는가?
• RQ4 스파이크 이벤트의 비미분 가능성에도 불구하고, 네트워크는 시간 패턴 인식 작업에서 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 딥 스파이킹 네트워크는 순차적 학습 작업에서 경쟁 가능한 성능을 달성하여, 스파이킹 네트워크가 미분 가능한 대체 기울기를 사용해 효과적으로 학습될 수 있음을 입증한다.
• ReLU 기반의 대체 기울기 사용으로 시간에 따라 역전파가 안정적으로 수행되어 깊은 아키텍처의 엔드 투 엔드 학습이 가능해졌다.
• 네트워크는 시간 동적 특성과 스파이크 기반 계산을 유지하며, 생물학적 뉴런 행동과 일치하면서도 높은 작업 정확도를 달성한다.
• 통합된 잠금 잠금의 최대값을 기준으로 스파이크를 생성하는 메커니즘은 최소한의 계산 오버헤드로 이산 이벤트 기반 처리를 가능하게 한다.