[論文レビュー] Long short-term memory and learning-to-learn in networks of spiking neurons

Guillaume Bellec, Darjan Salaj+3 more|arXiv (Cornell University)|Mar 26, 2018

Neural dynamics and brain function参考文献 11被引用数 53

ひとこと要約

adapting neurons を備えた LSNN が、時間をまたぐバックプロパゲーションと Deep Rewiring によって訓練されることで、状態に近いタイムシーケンス処理性能を達成し、 priors を用いた learning-to-learn を可能にし、スパイクニューロン網におけるメタ強化学習をサポートします。

ABSTRACT

Recurrent networks of spiking neurons (RSNNs) underlie the astounding computing and learning capabilities of the brain. But computing and learning capabilities of RSNN models have remained poor, at least in comparison with artificial neural networks (ANNs). We address two possible reasons for that. One is that RSNNs in the brain are not randomly connected or designed according to simple rules, and they do not start learning as a tabula rasa network. Rather, RSNNs in the brain were optimized for their tasks through evolution, development, and prior experience. Details of these optimization processes are largely unknown. But their functional contribution can be approximated through powerful optimization methods, such as backpropagation through time (BPTT). A second major mismatch between RSNNs in the brain and models is that the latter only show a small fraction of the dynamics of neurons and synapses in the brain. We include neurons in our RSNN model that reproduce one prominent dynamical process of biological neurons that takes place at the behaviourally relevant time scale of seconds: neuronal adaptation. We denote these networks as LSNNs because of their Long short-term memory. The inclusion of adapting neurons drastically increases the computing and learning capability of RSNNs if they are trained and configured by deep learning (BPTT combined with a rewiring algorithm that optimizes the network architecture). In fact, the computational performance of these RSNNs approaches for the first time that of LSTM networks. In addition RSNNs with adapting neurons can acquire abstract knowledge from prior learning in a Learning-to-Learn (L2L) scheme, and transfer that knowledge in order to learn new but related tasks from very few examples. We demonstrate this for supervised learning and reinforcement learning.

研究の動機と目的

• RSNNs を生物学的適応でモチベートし、短期記憶と計算性能を高めるモデル化。
• 最適化された接続と重みのために Backpropagation through Time (BPTT) と Deep Rewiring (DEEP R) を組み合わせた学習フレームワークの開発と適用。
• LSNNs が時系列タスクで LSTM の性能に匹敵し、learning-to-learn (L2L) と meta-reinforcement learning (meta-RL) を可能にすることを示す。
• スパイクベースのニューロモーフィックハードウェアに適した、エネルギー効率の良い疎結合 RSNN 実装を示す。

提案手法

• RSNN にニューロン適応を追加して LSNN を導入し、興奮性・抑制性・適応ニューロン集団を作成する。
• DEEP R によって補強された BPTT で LSNN を訓練し、シナプス重みとネットワーク接続の両方を最適化する。
• 完全結合 LSNN と疎結合 DEEP R LSNN を、 sequential MNIST と TIMIT のベースラインで LSTM および RSNN と比較する。
• LS2L (Learning-to-Learn) を適用し、超ループ最適化によってハイパーパラメータをエンコードして LSNN に効率的な学習アルゴリズムを組み込む。
• 外部ループを用いたトレーニングで LSNN が抽象知識を獲得し、報酬ベースの学習を高速化するメタ強化学習を実証する。

実験結果

リサーチクエスチョン

• RQ1 LSNNs におけるニューロン適応が RSNN と LSTM の間の性能ギャップを時系列タスクで埋めるか？
• RQ2 BPTT と DEEP R の統合により、疎結合でエネルギー効率の高い RSNN が時系列ベンチマークで高精度を達成できるか？
• RQ3 L2L により LSNN に priors を組み込み、少数の例から新しいタスクの素早い学習を可能にできるか？
• RQ4 メタ RL は LSNN で実現可能か。 synaptic weights を変えずに探索と目標指向行動を改善できるか？

主な発見

• LSNN は sequential MNIST において入力ピクセル提示が 1 ms の場合 94.7%、2 ms の場合 96.4% の精度を達成し、 setup 全体での LSTM 性能範囲（85%〜98%）に近づく。
• 同じ sequential MNIST セットアップで LSTM は 98.5% および 98.0% を達成し、RSNN バリアントを上回る。
• TIMIT 音声認識では、300 個の regular spiking、100 個の inhibitory、100 個の adapting ニューロンを持つ標準的な LSNN が 33.2% の誤り率を達成し、 prior work で報告された平均 40% の LSTM に比べ優れており、より複雑でない LSTM 変種（34.2%）よりも良い。
• Sparse DEEP R-LSNNs（約 12% の結合性）は sequential MNIST で完全結合の LSNN を上回ることができ、疎結線の有効性を示す。
• L2L によって LSNN は教師からの非線形関数のファミリを学習でき、5–20 試行後の迅速な適応を実現し、すべてのデータで訓練された線形予測子を超える。
• メタ-RL 実験では、 outer-loop 最適化後に LSNN がアリーナ内の固定ゴールへ進路を見出すことを学習し、境界位置やエピソードの不変性といった抽象知識を活用する。