[論文レビュー] Long short-term memory and learning-to-learn in networks of spiking neurons

Guillaume Bellec, Darjan Salaj+3 more|arXiv (Cornell University)|Mar 26, 2018

Advanced Memory and Neural Computing被引用数 164

ひとこと要約

BPTTとDEEP Rで訓練された適応ニューロンを備えるLSNNは、シーケンシャルMNISTとTIMITでLSTMに似た性能を達成する。Learning-to-Learn (L2L) によって、快速学習の事前知識を獲得し、メタ強化学習を可能にする。

ABSTRACT

Recurrent networks of spiking neurons (RSNNs) underlie the astounding computing and learning capabilities of the brain. But computing and learning capabilities of RSNN models have remained poor, at least in comparison with artificial neural networks (ANNs). We address two possible reasons for that. One is that RSNNs in the brain are not randomly connected or designed according to simple rules, and they do not start learning as a tabula rasa network. Rather, RSNNs in the brain were optimized for their tasks through evolution, development, and prior experience. Details of these optimization processes are largely unknown. But their functional contribution can be approximated through powerful optimization methods, such as backpropagation through time (BPTT). A second major mismatch between RSNNs in the brain and models is that the latter only show a small fraction of the dynamics of neurons and synapses in the brain. We include neurons in our RSNN model that reproduce one prominent dynamical process of biological neurons that takes place at the behaviourally relevant time scale of seconds: neuronal adaptation. We denote these networks as LSNNs because of their Long short-term memory. The inclusion of adapting neurons drastically increases the computing and learning capability of RSNNs if they are trained and configured by deep learning (BPTT combined with a rewiring algorithm that optimizes the network architecture). In fact, the computational performance of these RSNNs approaches for the first time that of LSTM networks. In addition RSNNs with adapting neurons can acquire abstract knowledge from prior learning in a Learning-to-Learn (L2L) scheme, and transfer that knowledge in order to learn new but related tasks from very few examples. We demonstrate this for supervised learning and reinforcement learning.

研究の動機と目的

• ANNと比較したRSNNの限界を動機づけ、進化・発達・事前経験による最適化を探る。
• RSNNにニューロン適応を追加して短期記憶を拡張するLSNNを導入する。
• BPTTとDEEP Rの組み合わせがLSNNを複雑なタスクで訓練できることを示す。
• 新しいタスクへの迅速な適応を可能にする学習-to-learn（L2L）を実証する。
• LSNNにおけるメタ強化学習（meta-RL）能力と、ニューロモルフィックへの潜在的影響を示す。

提案手法

• 通常のLIFと適応LIFニューロンの2つのニューロン集団を持つLSNNアーキテクチャを導入する。
• スパイクの減衰した擬似微分を用いた時間展開BPTTでLSNNを訓練する。
• 接続性を最適化するため、DEEP Rによるシナプス再配線とBPTTを組み合わせる。
• シーケンシャルMNISTとTIMITで評価して、LSTMおよびRNNベースラインと比較する。
• Outerループでハイパーパラメータを最適化して内側ループの学習を迅速にサポートするL2Lを適用する。
• 報酬ベースのナビゲーションタスクを実行するようLSNNを訓練してメタ強化学習を実証する。

実験結果

リサーチクエスチョン

• RQ1 LSNNは時系列分類タスク（シーケンシャルMNISTやTIMITなど）でLSTMネットワークとの差を縮められるか。
• RQ2 RSNNにニューロン適応を組み込むことで、複雑なタスクに対して短期記憶を効果的に拡張できるか。
• RQ3 L2LがLSNNに先行的な priors を刻み込み、少数の例から新しいタスクを迅速に学習できるようにするか。
• RQ4 シナプスウェイトを変えずに、報酬信号を用いたメタ強化学習能力をLSNNが示せるか。

主な発見

• LSNNは sequential MNIST で 1 ms および 2 ms のピクセル提示でそれぞれ 94.7% と 96.4% の精度を達成し、LSTMの性能（98.5% および 98.0%）に近づく。
• TIMITではLSNNは33.2%の分類誤差に達し、200回のLSTM試行の平均約40%を下回るが、20回の最良のLSTM試行（29.7%）には及ばない。
• DEEP Rが有効なスパースLSNN（接続率約12%）は完全連結LSNNを上回り、LSTM指標に近づく。
• Learning-to-Learn (L2L) はLSNNが少数の試行で教師から新しい非線形関数を学習することを可能にし、線形予測器を上回り、内部モデル形成の迅速さを示す。
• メタ-RLで訓練されたLSNNはナビゲーションと計画の抽象知識を獲得し、まばらなRSNNにおける報酬ベースの学習能力を示す。
• L2Lは滑らかな関数クラス（例：非線形TN、正弦関数）に対する priors をLSNNに導入し、シナプス重みの変化なしで効率的なオンライン学習を可能にする。