[论文解读] Reinforcement Learning in a Neurally Controlled Robot Using Dopamine Modulated STDP

Richard Evans|arXiv (Cornell University)|Feb 21, 2015

Advanced Memory and Neural Computing被引用 6

一句话总结

该论文提出了一种脉冲神经网络（SNN）控制器，用于机器人在连续环境中通过多巴胺调制的脉冲时间依赖可塑性（DA-STDP）解决强化学习任务。通过将多巴胺反应从原始奖励（如食物）转移到预测性次级刺激（如食物容器），机器人学会了复杂的行为序列，在95%的试验中成功实现对食物容器的吸引，即使存在长时间延迟，也展示了在动态、类现实环境中的鲁棒信用分配能力。

ABSTRACT

Recent work has shown that dopamine-modulated STDP can solve many of the issues associated with reinforcement learning, such as the distal reward problem. Spiking neural networks provide a useful technique in implementing reinforcement learning in an embodied context as they can deal with continuous parameter spaces and as such are better at generalizing the correct behaviour to perform in a given context. In this project we implement a version of DA-modulated STDP in an embodied robot on a food foraging task. Through simulated dopaminergic neurons we show how the robot is able to learn a sequence of behaviours in order to achieve a food reward. In tests the robot was able to learn food-attraction behaviour, and subsequently unlearn this behaviour when the environment changed, in all 50 trials. Moreover we show that the robot is able to operate in an environment whereby the optimal behaviour changes rapidly and so the agent must constantly relearn. In a more complex environment, consisting of food-containers, the robot was able to learn food-container attraction in 95% of trials, despite the large temporal distance between the correct behaviour and the reward. This is achieved by shifting the dopamine response from the primary stimulus (food) to the secondary stimulus (food-container). Our work provides insights into the reasons behind some observed biological phenomena, such as the bursting behaviour observed in dopaminergic neurons. As well as demonstrating how spiking neural network controlled robots are able to solve a range of reinforcement learning tasks.

研究动机与目标

• 通过使用脉冲神经网络实现一种生物上合理的强化学习系统，用于机器人控制。
• 通过将多巴胺反应从原始刺激转移到次级预测性刺激，解决强化学习中的远距离奖励问题。
• 在经典强化学习方法难以应对的连续参数空间中，展示序列化行为的学习能力。
• 探讨多巴胺能神经元动力学（如爆发式与基线放电）如何支持稳定学习与再学习。
• 评估系统在快速变化环境中摒弃过时行为并适应新环境的能力。

提出的方法

• 机器人由一个使用Izhikevich神经元模型的脉冲神经网络（SNN）控制，以实现生物真实性与计算效率的平衡。
• 通过将突触前动作电位时间与反映奖励预测误差的爆发性多巴胺信号耦合，实现多巴胺调制的STDP。
• 建模了两阶段多巴胺反应：基线（紧张）放电和爆发（相位）活动，其中爆发信号表示奖励预测误差。
• 通过14 Hz的振荡放电对传感器输入进行编码，以模拟大脑中观察到的神经振荡，增强时间编码能力。
• 通过传感器与运动神经元群体之间的侧向抑制实现赢家通吃机制，确保行为选择的明确性。
• 通过显式运动刺激诱导探索，尽管未来工作计划将此机制嵌入SNN中，通过相位活动与抑制实现。

实验结果

研究问题

• RQ1 DA调制的STDP在SNN中是否能使机器人学习导致延迟奖励的行为序列？
• RQ2 如何将多巴胺反应从原始刺激（食物）转移到次级预测性刺激（食物容器），以解决远距离奖励问题？
• RQ3 当环境条件改变时，机器人是否能摒弃先前习得的行为？
• RQ4 不同的多巴胺活动模式（基线与爆发）如何促进稳定学习与可塑性？
• RQ5 基于SNN的控制是否能在连续、类现实环境中比离散状态强化学习算法表现更优？

主要发现

• 机器人在全部50次试验中成功习得对食物的吸引行为，并在环境改变后成功摒弃该行为，展示了适应性再学习能力。
• 在包含食物容器的复杂环境中，机器人在95%的试验中成功实现对食物容器的吸引，即使行为与奖励之间存在较大时间延迟。
• 多巴胺反应成功从原始刺激（食物）转移到次级刺激（食物容器），实现了长时间间隔内的信用分配。
• 该模型在最优行为快速变化的动态环境中表现出鲁棒性，需要持续再学习。
• 使用不同的紧张与相位多巴胺活动模式提高了学习的可靠性，并为多巴胺能神经元的爆发放电行为提供了合理的解释。
• SNN控制器实现了在连续参数空间中的直接学习，避免了标准强化学习算法所需的离散化处理。