[논문 리뷰] Synaptic Plasticity Dynamics for Deep Continuous Local Learning.

Jacques Kaiser, Hesham Mostafa외 1명|arXiv (Cornell University)|2018. 11. 27.

Advanced Memory and Neural Computing인용 수 25

한 줄 요약

이 논문은 심층 스파iking 신경망에서 국소 시냅스 가소성과 합성 그래디언트를 사용하여 연속적이고 시간 정밀도가 높은 표현 학습을 가능하게 하는 생물학적으로 영감을 받은 학습 규칙인 Deep Continuous Local Learning (DECOLLE)을 제안한다. 자동미분를 통해 사용자가 정의한 손실 함수로부터 가소성 규칙를 유도함으로써, DECOLLE는 MNIST와 DvsGesture에서 최신 기법과 경쟁하는 성능을 달성하며, 저전력, 이벤트 기반 비전을 실현한다.

ABSTRACT

A growing body of work underlines striking similarities between biological neural networks and recurrent, binary neural networks. A relatively smaller body of work, however, discusses similarities between learning dynamics employed in deep artificial neural networks and synaptic plasticity in spiking neural networks. The challenge preventing this is largely caused by the discrepancy between the dynamical properties of synaptic plasticity and the requirements for gradient backpropagation. Learning algorithms that approximate gradient backpropagation using locally synthesized gradients can overcome this challenge. Here, we show that synthetic gradients enable the derivation of Deep Continuous Local Learning (DECOLLE) in spiking neural networks. DECOLLE is capable of learning deep spatio-temporal representations from spikes relying solely on local information. Synaptic plasticity rules are derived systematically from user-defined cost functions and neural dynamics by leveraging existing autodifferentiation methods of machine learning frameworks. We benchmark our approach on the MNIST and the event-based neuromorphic DvsGesture dataset, on which DECOLLE performs comparably to the state-of-the-art. DECOLLE networks provide continuously learning machines that are relevant to biology and supportive of event-based, low-power computer vision architectures matching the accuracies of conventional computers on tasks where temporal precision and speed are essential.

연구 동기 및 목표

• 심층 스파킹 네트워크에서 국소적이고 연속적인 학습을 가능하게 하여 인공 신경망 학습과 생물학적 시냅스 가소성 간 격차를 메우는 것.
• 스파킹 신경망에서 그래디언트 역전파와 국소적 시냅스 동역학 간의 부적합성을 극복하는 것.
• 뉴모르픽 하드웨어에서 심층적이고 연속적이며 이벤트 기반의 학습을 지원하는 생물학적으로 타당한 학습 규칙을 개발하는 것.
• 국소 정보와 합성 그래디언트만을 사용하여 시간적 및 시공간 작업에서 고정확도 학습을 가능하게 하는 것.

제안 방법

• 합성 그래디언트를 사용하여 가중치 갱신을 오차 역전파에서 분리함으로써 심층 스파킹 네트워크에서 국소 학습을 가능하게 한다.
• 기계 학습 프레임워크의 자동미분를 활용하여 사용자가 정의한 손실 함수로부터 체계적으로 가소성 규칙을 도출한다.
• 기존의 자동미분 도구를 활용하여 시냅스 가중치 갱신 규칙을 생물학적으로 타당한 방식으로 생성한다.
• DECOLLE는 연속적이고 온라인 학습 환경에서 작동하며, 국소 오차 신호에 기반해 실시간으로 가중치를 갱신한다.
• 스파크 기반 입력으로 훈련된 심층 스파킹 신경망에 적용되어 시간 표현 학습을 가능하게 한다.
• 표준 벤치마크, 즉 MNIST와 이벤트 기반 DvsGesture 데이터셋에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 합성 그래디언트는 전체 역전파 없이도 심층 스파킹 네트워크에서 국소적이고 연속적인 학습을 가능하게 할 수 있는가?
• RQ2 자기미분를 통해 손실 함수에서 도출된 가소성 규칙가 생물학적으로 타당하고 효과적인 학습 역학을 생성할 수 있는가?
• RQ3 DECOLLE는 이벤트 기반 데이터를 사용한 시공간 작업, 예를 들어 제스처 인식에서 경쟁 가능한 성능를 달성할 수 있는가?
• RQ4 DECOLLE는 정확도를 유지하면서 저전력, 이벤트 기반 추론을 지원할 수 있는가?

주요 결과

• DECOLLE는 국소 학습과 합성 그래디언트만을 사용하여 MNIST 데이터셋에서 최신 기법과 비교할 만한 성능를 달성한다.
• 이벤트 기반 DvsGesture 데이터셋에서 DECOLLE는 유사한 정확도를 달성하지만, 오직 국소 시냅스 가소성에 의존한다.
• 이 방법은 심층 스파킹 네트워크에서 연속적이고 온라인 학습을 가능하게 하여 시간 입력 시퀀스에 실시간으로 적응할 수 있도록 한다.
• 자기미분를 통해 도출된 시냅스 가소성 규칙가 전역 오차 신호가 필요 없이 그래디언트 기반 학습을 효과적으로 근사한다.
• DECOLLE는 시간 정밀도와 에너지 효율성을 우선시하는 저전력 뉴모르픽 컴퓨팅 아키텍처에 대한 실현 가능성을 보여준다.