[논문 리뷰] Gradient Descent for Spiking Neural Networks

Dongsung Huh, Terrence J. Sejnowski|arXiv (Cornell University)|2017. 06. 14.

Advanced Memory and Neural Computing참고 문헌 13인용 수 36

한 줄 요약

이 논문은 전사막 전압 도함수에 적용된 게이트 함수를 기반으로 한 부드럽고 미분 가능한 시냅스 전류 모델을 사용하여, 스파iking 신경망의 미분 가능 공식을 제안한다. 이는 역전파를 통한 정확한 기울기 계산을 가능하게 하며, 밀리초 시간 척도의 인코딩 작업과 초 시간 척도의 지연 메모리 XOR 작업을 모두 고정밀도로 해결할 수 있도록 한다. 이는 스파크 기반 계산을 위한 엔드 투 엔드 지도 학습을 입증한다.

ABSTRACT

Much of studies on neural computation are based on network models of static neurons that produce analog output, despite the fact that information processing in the brain is predominantly carried out by dynamic neurons that produce discrete pulses called spikes. Research in spike-based computation has been impeded by the lack of efficient supervised learning algorithm for spiking networks. Here, we present a gradient descent method for optimizing spiking network models by introducing a differentiable formulation of spiking networks and deriving the exact gradient calculation. For demonstration, we trained recurrent spiking networks on two dynamic tasks: one that requires optimizing fast (~millisecond) spike-based interactions for efficient encoding of information, and a delayed memory XOR task over extended duration (~second). The results show that our method indeed optimizes the spiking network dynamics on the time scale of individual spikes as well as behavioral time scales. In conclusion, our result offers a general purpose supervised learning algorithm for spiking neural networks, thus advancing further investigations on spike-based computation.

연구 동기 및 목표

• 스파크의 비미분 가능성으로 인해 스파킹 신경망에 대해 효율적인 지도 학습 알고리즘이 부족한 문제를 해결하기 위해.
• 초과 임계값 자극에 대해 일정한 시냅스 전하를 유지하는 등의 주요 생물학적 특성을 유지하면서도 스파iking 동역학의 미분 가능 공식을 개발하기 위해.
• 스파크 시점과 행동 시간 척도에서 모두 반복 스파킹 네트워크의 기울기 기반 최적화를 가능하게 하기 위해.
• 두 가지 동적 작업, 즉 빠른 스파크 기반 인코딩과 지연 메모리 XOR 계산에 대해 방법의 효과성을 입증하기 위해.

제안 방법

• 임계값에 의해 유도되는 시냅스 전류를, 전사막 전압 도함수에 적용된 좁은 게이트 함수 g(v)를 사용한 미분 가능한 모델로 대체함으로써, 초과 임계값의 어느 정도의 분극화에 대해라도 일정한 총 전하 전달을 보장함.
• 시냅스 전류 동역학을 τ·ds/dt = -s + g·dv/dt로 정의함으로써, 표준 임계값 유도 모델을 일반화하고 부드러운 기울기 계산을 가능하게 함.
• 미분 가능한 시냅스 모델을 미분 가능한 뉴런 동역학(예: QIF 또는 NIF 모델)과 결합하고, 학습 가능한 가중치 W, U, O 및 정적 입력 Io를 갖는 연속 시간 동역학 시스템으로 전체 네트워크를 공식화함.
• 연속 시간 네트워크 방정식을 미분하여 시간을 거꾸로 전파하는 기울기(BPTT)를 사용해 정확한 기울기를 유도함으로써 엔드 투 엔드 최적화를 가능하게 함.
• 예측된 출력과 목표 출력 간의 평균 제곱오차로 정의된 손실을 갖는 선형 읽기 출력층(o = O·s)을 사용하여 시냅스 전류를 네트워크 출력으로 매핑함.
• 이 방법을 사용하여 반복 네트워크를 두 가지 작업에 대해 학습함: 정현파 입력을 갖는 빠른 인코딩 작업과 변수 간격의 이벤트 간격을 갖는 지연 메모리 XOR 작업.

실험 결과

연구 질문

• RQ1 스파킹 네트워크의 미분 가능 공식이 지도 학습을 위한 정확한 기울기 계산을 가능하게 할 수 있는가?
• RQ2 기울기 하강법가 개별 스파크의 밀리초 시간 척도에서 네트워크 동역학을 최적화할 수 있는가?
• RQ3 이 방법이 장기간(초 단위)에 걸쳐 비선형 계산을 수행하도록 스파킹 네트워크를 학습시킬 수 있는가?
• RQ4 빠른 시냅스가 필요 없이도 효율적인 스파크 시점 기반 인코딩을 달성할 수 있는가?
• RQ5 이 방법이 단순 적합-및-화염 유형을 초월한 생물학적으로 현실적인 뉴런 모델로 일반화될 수 있는가?

주요 결과

• 이 방법은 30개 뉴런으로 구성된 스파킹 네트워크를 고정밀도로 목표 출력 신호를 추적하도록 성공적으로 학습시켰으며, 입력 전류의 밀도가 높고 스파크 시점 기반 인코딩이 강력함을 입증함.
• 최적의 반복 가중치 행렬 W는 이론적 예측 W ≈ U·A·O와 밀도 있게 일치함으로써, 이 방법이 복잡한 동역학을 학습할 수 있음을 확인함.
• 입력과 가이드 신호 사이의 변동하는 간격을 갖는 지연 메모리 XOR 작업을 해결하였으며, 입력 이력에 따라 올바른 출력 펄스(양, 음 또는 null)를 생성함.
• 스파크 패턴은 지속적이고 시간에 따라 변하는 활동을 보이며, 입력 이력을 유지하고 가이드 신호에 적절히 반응함으로써, 초 단위에 걸쳐 효과적인 메모리와 계산을 수행함을 나타냄.
• 빠른 시냅스나 추가적인 수상돌기 비선형성을 요구하지 않음으로써, 내재된 QIF 뉴런 동역학만으로도 이 작업을 수행할 수 있음을 입증함.
• 기울기 갱신은 스파크 시점 근처에 집중되어 있고 희박함을 보이며, 보상 조절 STDP와 유사함을 보이며 생물학적 타당성의 잠재력을 시사함.