[论文解读] Long short-term memory and learning-to-learn in networks of spiking neurons

Guillaume Bellec, Darjan Salaj+3 more|arXiv (Cornell University)|Mar 26, 2018

Neural dynamics and brain function参考文献 11被引用 53

一句话总结

通过时序反向传播（BPTT）和 Deep Rewiring 的适应神经元的 LSNNs 在时序处理方面达到接近最先进水平的性能，能够在先验信息下实现学习-到-学习，并在脉冲神经网络中实现元强化学习。

ABSTRACT

Recurrent networks of spiking neurons (RSNNs) underlie the astounding computing and learning capabilities of the brain. But computing and learning capabilities of RSNN models have remained poor, at least in comparison with artificial neural networks (ANNs). We address two possible reasons for that. One is that RSNNs in the brain are not randomly connected or designed according to simple rules, and they do not start learning as a tabula rasa network. Rather, RSNNs in the brain were optimized for their tasks through evolution, development, and prior experience. Details of these optimization processes are largely unknown. But their functional contribution can be approximated through powerful optimization methods, such as backpropagation through time (BPTT). A second major mismatch between RSNNs in the brain and models is that the latter only show a small fraction of the dynamics of neurons and synapses in the brain. We include neurons in our RSNN model that reproduce one prominent dynamical process of biological neurons that takes place at the behaviourally relevant time scale of seconds: neuronal adaptation. We denote these networks as LSNNs because of their Long short-term memory. The inclusion of adapting neurons drastically increases the computing and learning capability of RSNNs if they are trained and configured by deep learning (BPTT combined with a rewiring algorithm that optimizes the network architecture). In fact, the computational performance of these RSNNs approaches for the first time that of LSTM networks. In addition RSNNs with adapting neurons can acquire abstract knowledge from prior learning in a Learning-to-Learn (L2L) scheme, and transfer that knowledge in order to learn new but related tasks from very few examples. We demonstrate this for supervised learning and reinforcement learning.

研究动机与目标

• 激励并建模具有生物学适应性的 RSNNs，以提升短时记忆和计算能力。
• 开发并应用一个学习框架，将时序反向传播（BPTT）与 Deep Rewiring (DEEP R) 相结合，以优化连接性和权重。
• 证明 LSNNs 能在时序任务中达到与 LSTM 相当的性能，并实现学习到学习（L2L）和元强化学习（meta-RL）。
• 展示适用于基于脉冲的神经形态硬件的能效高、稀疏连接的 RSNN 实现。

提出的方法

• 通过向 RSNNs 添加神经元适应性来引入 LSNNs，形成兴奋性、抑制性和自适应神经元群体。
• 用被 DEEP R 增强的 BPTT 训练 LSNNs，以同时优化突触权重和网络连接性。
• 在 sequential MNIST 和 TIMIT 上，将全连接的 LSNNs 与稀疏连接的 DEEP R LSNNs 与 LSTM 和 RSNN 基线进行比较。
• 通过超参数的外环优化应用学习到学习（L2L），在 LSNN 中编码一个高效的学习算法。
• 通过在外环中训练 LSNNs 来获得用于快速基于奖励学习的抽象知识，从而展示元强化学习（meta-reinforcement learning）。

实验结果

研究问题

• RQ1 具有神经元适应性的 LSNNs 能否缩小 RSNNs 与 LSTMs 在时序序列任务上的性能差距？
• RQ2 将 BPTT 与 DEEP R 结合是否能让稀疏、能效高的 RSNN 达到时序基准的高准确度？
• RQ3 L2L 能否在 LSNN 中安装先验信息，使其在少量示例下快速学习新任务？
• RQ4 在 LSNNs 中实现元强化学习是否可行，从而在不改变突触权重的情况下实现更好的探索和目标导向行为？

主要发现

• LSNNs 在 sequential MNIST 上，对于输入像素呈现时间分别为 1 ms 和 2 ms，获得 94.7% 和 96.4% 的准确率，接近 LSTM 的性能（在 85%–98% 范围内的设置）。
• 在相同的 sequential MNIST 设置下，LSTM 达到 98.5% 和 98.0%，优于 RSNN 变体。
• 在 TIMIT 语音识别中，标准 LSNN 具有 300 常规放电、100 抑制和 100 自适应神经元，达到 33.2% 的错误率，优于先前工作中某些 LSTM 的平均 40% 和更简单的 LSTM 变体（34.2%）。
• 稀疏 DEEP R-LSNNs（大约 12% 的连通性）在 sequential MNIST 上可以优于完全连接的 LSNN，说明稀疏布线的高效性。
• L2L 使 LSNNs 能从教师那里学习一族非线性函数，在 5–20 次试验后快速适应，超过在所有数据上训练的线性预测器。
• 元强化学习实验显示，在外环优化后，LSNNs 能学习在竞技场中导航到固定目标，利用关于边界位置和回合恒定性的抽象知识。