[논문 리뷰] Long short-term memory and learning-to-learn in networks of spiking neurons

Guillaume Bellec, Darjan Salaj외 3명|arXiv (Cornell University)|2018. 03. 26.

Advanced Memory and Neural Computing인용 수 164

한 줄 요약

adapting 뉴런을 가진 LSNN이 BPTT와 DEEP R로 학습될 때 순차 MNIST와 TIMIT에서 LSTM과 유사한 성능을 달성합니다; Learning-to-Learn (L2L)과 함께 빠른 학습 편향을 얻고 메타 강화학습을 가능하게 합니다.

ABSTRACT

Recurrent networks of spiking neurons (RSNNs) underlie the astounding computing and learning capabilities of the brain. But computing and learning capabilities of RSNN models have remained poor, at least in comparison with artificial neural networks (ANNs). We address two possible reasons for that. One is that RSNNs in the brain are not randomly connected or designed according to simple rules, and they do not start learning as a tabula rasa network. Rather, RSNNs in the brain were optimized for their tasks through evolution, development, and prior experience. Details of these optimization processes are largely unknown. But their functional contribution can be approximated through powerful optimization methods, such as backpropagation through time (BPTT). A second major mismatch between RSNNs in the brain and models is that the latter only show a small fraction of the dynamics of neurons and synapses in the brain. We include neurons in our RSNN model that reproduce one prominent dynamical process of biological neurons that takes place at the behaviourally relevant time scale of seconds: neuronal adaptation. We denote these networks as LSNNs because of their Long short-term memory. The inclusion of adapting neurons drastically increases the computing and learning capability of RSNNs if they are trained and configured by deep learning (BPTT combined with a rewiring algorithm that optimizes the network architecture). In fact, the computational performance of these RSNNs approaches for the first time that of LSTM networks. In addition RSNNs with adapting neurons can acquire abstract knowledge from prior learning in a Learning-to-Learn (L2L) scheme, and transfer that knowledge in order to learn new but related tasks from very few examples. We demonstrate this for supervised learning and reinforcement learning.

연구 동기 및 목표

• RSNN의 ANN 대비 한계에 대한 동기 부여 및 진화, 발달 및 prior 경험에 의한 최적화 탐구.
• RSNN에 뉴런 적응을 추가하여 LSNN을 소개하고 단기 기억을 확장합니다.
• BPTT와 DEEP R의 결합으로 LSNN을 복잡한 작업에 학습시킬 수 있음을 보입니다.
• 학습-투-러닝(L2L)을 통해 새로운 작업에 빠르게 적응하는 능력을 확보합니다.
• LSNN에서 메타강화학습(meta-RL) 능력을 시연하고 뉴로모픽 함의를 탐색합니다.

제안 방법

• 두 개의 뉴런 군집으로 구성된 LSNN 아키텍처를 도입합니다: 일반 LIF 뉴런과 적응 LIF 뉴런.
• 스파이크의 디앵된 의사도함수(dampened pseudo-derivative)를 사용한 BPTT를 통해 LSNN을 학습합니다.
• 시냅스 재배선을 최적화하기 위해 BPTT와 DEEP R를 결합합니다.
• LSTM 및 RNN 베이스라인과의 비교를 위해 순차 MNIST와 TIMIT에서 평가합니다.
• 빠른 내부 루프 학습을 지원하기 위해 하이퍼파라미터를 최적화하는 외부 루프를 사용한 Learning-to-Learn(L2L)을 적용합니다.
• 보상 기반 탐색 작업을 수행하도록 LSNN을 학습시켜 메타-강화학습을 시연합니다.

실험 결과

연구 질문

• RQ1 LSNN이 시퀀스 MNIST 및 TIMIT와 같은 시계열 분류 작업에서 LSTM 네트워크에 비해 성능 격차를 줄일 수 있는가?
• RQ2 뉴런 적응을 포함하는 것이 RSNN에서 단기 기억을 효과적으로 확장하여 복잡한 작업에 유용한가?
• RQ3 학습-투-러닝(L2L)이 LSNN에 편향(priors)을 각인시켜 소수의 예제로 새로운 작업을 빠르게 학습하게 할 수 있는가?
• RQ4 시냅스 가중치를 변경하지 않고도 보상 신호로 LSNN이 메타-강화학습 능력을 보일 수 있는가?

주요 결과

• LSNN은 순차 MNIST에서 1 ms 및 2 ms 픽셀 제시시 각각 94.7% 및 96.4%의 정확도를 달성하여 LSTM 성능(98.5% 및 98.0%)에 근접합니다.
• TIMIT에서 LSNN은 33.2%의 분류 오차를 달성하며 200개의 LSTM 시도에서의 평균 약 40%보다 낮지만 최댓값 20개의 LSTM 시도 중 최상위(29.7%)보다 높습니다.
• DEEP R-활성 희박 연결 LSNN(약 12% 연결성)은 완전 연결된 LSNN보다 성능이 좋고 LSTM 지표에 근접할 수 있습니다.
• 학습-투-러닝(L2L)은 LSNN이 교사로부터 몇 차례의 시도만으로 새로운 비선형 함수도 학습하도록 만들고 선형 예측기보다 우수하며 내부 모델 형성을 빠르게 보여줍니다.
• 메타-RL로 학습된 LSNN은 항해 및 계획에 대한 추상적 지식을 얻고 보상 기반 학습 능력을 희소 RSNN에서 시연합니다.
• L2L은 매끄러운 함수 클래스(예: 비선형 TNs, 사인 함수)와 같은 프라이어를 LSNN에 주입하여 시냅스 가중치를 바꾸지 않고도 효율적인 온라인 학습을 가능하게 합니다.