[논문 리뷰] Long short-term memory and learning-to-learn in networks of spiking neurons

Guillaume Bellec, Darjan Salaj외 3명|arXiv (Cornell University)|2018. 03. 26.

Neural dynamics and brain function참고 문헌 11인용 수 53

한 줄 요약

LSNNs with adapting neurons trained via backpropagation through time and Deep Rewiring achieve state-of-the-art-like temporal processing performance, enable learning-to-learn with priors, and support meta-reinforcement learning in spiking networks.

ABSTRACT

Recurrent networks of spiking neurons (RSNNs) underlie the astounding computing and learning capabilities of the brain. But computing and learning capabilities of RSNN models have remained poor, at least in comparison with artificial neural networks (ANNs). We address two possible reasons for that. One is that RSNNs in the brain are not randomly connected or designed according to simple rules, and they do not start learning as a tabula rasa network. Rather, RSNNs in the brain were optimized for their tasks through evolution, development, and prior experience. Details of these optimization processes are largely unknown. But their functional contribution can be approximated through powerful optimization methods, such as backpropagation through time (BPTT). A second major mismatch between RSNNs in the brain and models is that the latter only show a small fraction of the dynamics of neurons and synapses in the brain. We include neurons in our RSNN model that reproduce one prominent dynamical process of biological neurons that takes place at the behaviourally relevant time scale of seconds: neuronal adaptation. We denote these networks as LSNNs because of their Long short-term memory. The inclusion of adapting neurons drastically increases the computing and learning capability of RSNNs if they are trained and configured by deep learning (BPTT combined with a rewiring algorithm that optimizes the network architecture). In fact, the computational performance of these RSNNs approaches for the first time that of LSTM networks. In addition RSNNs with adapting neurons can acquire abstract knowledge from prior learning in a Learning-to-Learn (L2L) scheme, and transfer that knowledge in order to learn new but related tasks from very few examples. We demonstrate this for supervised learning and reinforcement learning.

연구 동기 및 목표

• 생물학적 적응을 갖춘 RSNN을 동기 부여하고 모델링하여 단기 기억과 계산 능력을 향상시키는 것.
• 역시간 역전파(BPTT)와 Deep Rewiring(DEEP R)을 결합한 학습 프레임워크를 개발하고 적용하여 시냅스 가중치와 네트워크 연결성을 최적화한다.
• LSNN이 시계열 작업에서 LSTM 성능에 도달할 수 있음을 보이고 학습-학습(L2L)과 메타-강화학습(meta-RL)을 가능하게 한다.
• 스파이크 기반 뉴로모픽 하드웨어에 적합한 에너지 효율적이고 희소하게 연결된 RSNN 구현을 시연한다.

제안 방법

• RSNN에 뉴런 적응(adaptation)을 추가하여 흥분성, 억제성 뉴런군과 적응 뉴런군을 포함하는 LSNN을 도입한다.
• 시냅스 가중치와 네트워크 연결성을 최적화하기 위해 DEEP R을 보강한 BPTT로 LSNN을 학습시킨다.
• 순차 MNIST와 TIMIT에서 완전 연결 LSNN과 희소 배선 DEEP R LSNN을 LSTM 및 RSNN 기반선과 비교한다.
• LSNN에 효율적인 학습 알고리즘을 인코딩하기 위해 초루프(outer-loop) 하이퍼파라미터 최적화를 통해 학습-학습(L2L)을 적용한다.
• 보상 기반 빠른 학습을 위한 추상 지식을 얻도록 외부 루프에서 LSNN을 학습시켜 메타-강화학습(meta-RL)을 시연한다.

실험 결과

연구 질문

• RQ1 뉴런 적응이 있는 LSNN이 시계열 순서 작업에서 RSNN과 LSTM 간의 성능 격차를 줄일 수 있는가?
• RQ2 BPTT와 DEEP R의 통합이 희소하고 에너지 효율적인 RSNN이 시계열 벤치마크에서 높은 정확도에 도달하게 하는가?
• RQ3 L2L이 LSNN에 선행지식을 주입해 적은 예제로도 새로운 작업을 빠르게 학습하게 할 수 있는가?
• RQ4 시냅스 가중치를 바꾸지 않고도 탐색 강화 및 목표 지향적 행동을 개선하는 메타-강화학습(meta-RL)이 LSNN에서 가능한가?

주요 결과

• LSNN은 입력 픽셀 프레젠테이션이 각각 1 ms, 2 ms인 순차 MNIST에서 94.7%, 96.4%의 정확도를 달성하여 LSTM 성능(설정에 따라 85%–98% 범위)에 근접하다.
• 동일한 순차 MNIST 설정에서 LSTM은 98.5%, 98.0%를 달성하여 RSNN 변종보다 우수하다.
• TIMIT 음성 인식에서 표준 LSNN은 300 regular spiking, 100 inhibitory, 100 adapting 뉴런으로 33.2% 오차를 달성하여 이전 연구에서 일부 LSTM의 평균 40%보다 낫고 더 간단한 LSTM 변형(34.2%)보다 낫다.
• 희소 DEEP R-LSNN(약 12% 연결성)은 순차 MNIST에서 완전 연결 LSNN보다 우수할 수 있어 효율적인 희소 배선을 시사한다.
• L2L은 LSNN이 교사로부터 비선형 함수의 계열을 학습하도록 하여 5–20회의 시도 후 빠르게 적응하게 하고 모든 데이터를 이용해 학습된 선형 예측기보다 낫다.
• 메타-RL 실험은 외부 루프 최적화 후 LSNN이 경계 위치와 에피소드 불변성에 대한 추상 지식을 활용하여 경기장에서 고정 목표로 탐색하는 것을 학습할 수 있음을 보여준다.