[论文解读] Backpropamine: training self-modifying neural networks with differentiable neuromodulated plasticity

Thomas Miconi, Aditya Rawal+2 more|arXiv (Cornell University)|Feb 24, 2020

EEG and Brain-Computer Interfaces被引用 35

一句话总结

本文介绍 Backpropamine，一种通过梯度下降训练的可微分神经调制可塑性框架，能够自我修改神经网络，并在强化学习任务和大规模语言建模任务中显示出改进。

ABSTRACT

The impressive lifelong learning in animal brains is primarily enabled by plastic changes in synaptic connectivity. Importantly, these changes are not passive, but are actively controlled by neuromodulation, which is itself under the control of the brain. The resulting self-modifying abilities of the brain play an important role in learning and adaptation, and are a major basis for biological reinforcement learning. Here we show for the first time that artificial neural networks with such neuromodulated plasticity can be trained with gradient descent. Extending previous work on differentiable Hebbian plasticity, we propose a differentiable formulation for the neuromodulation of plasticity. We show that neuromodulated plasticity improves the performance of neural networks on both reinforcement learning and supervised learning tasks. In one task, neuromodulated plastic LSTMs with millions of parameters outperform standard LSTMs on a benchmark language modeling task (controlling for the number of parameters). We conclude that differentiable neuromodulation of plasticity offers a powerful new framework for training neural networks.

研究动机与目标

• 将神经调制可塑性建模为一种受生物强化学习启发、可通过梯度下降训练的机制。
• 将可微分可塑性扩展为包含瞬时（逐时）对可塑性的神经调制。
• 展示可塑性与神经调制在强化学习任务和语言建模中的性能收益。

提出的方法

• 在可微分的Hebbian可塑性基础上，每个连接有一个固定权重 wij，以及通过 alpha_ij Hebb_ij 的可塑分量，其更新规则为 Hebb_ij(t+1)=Clip(Hebb_ij(t)+η x_i(t-1)x_j(t)).
• 引入对可塑性进行缩放的神经调制 M(t)；简单的神经调制将 η 在 Hebbian 更新中替换为 M(t)。
• 提供一个带有 eligibility traces 的替代方案，其中 Hebb_ij(t+1)=Clip(Hebb_ij(t)+M(t)E_ij(t))，且 E_ij(t+1)=(1-η)E_ij(t)+η x_i(t-1)x_j(t)。
• 描述两种任务变体：简单的全局神经调制和通过 eligibility traces 的回溯性神经调制。
• 将该框架应用于强化学习和语言建模任务，包括一个带有神经调制可塑性的 Penn Tree Bank LSTM 设置。
• 注：只有循环权重是可塑的；输入/输出保持非可塑。

实验结果

研究问题

• RQ1 可微分的神经调制可塑性在强化学习和监督任务中，是否比非可塑和非调制的可塑网络具有更好的学习性能？
• RQ2 梯度下降是否能够优化具有自我修改可塑性的网络，以在 PTB 上实现更好的语言建模困惑度？
• RQ3 简单神经调制与回溯性（eligibility-trace）调制在性能和稳定性方面有何比较？
• RQ4 跨任务的神经调制可塑性产生的行为特征和学习动力学是什么？

主要发现

• 在线索-奖励关联任务中，带神经调制的可塑性网络优于非调制和非可塑网络。
• 神经调制同样提升了对迷宫导航任务的性能，相比于非调制的可塑性。
• 在语言建模中，具有可微分可塑性的 LSTM 优于基线 LSTM；加入神经调制还能进一步降低困惑度。
• 回溯性神经调制（eligibility traces）在困惑度上相对于简单调制提供了进一步改善。
• 表 1 显示测试困惑度，在不同模型中，神经调制的可塑性 LSTM 的数值低于基线。