[论文解读] Meta-Learning through Hebbian Plasticity in Random Networks

Elias Najarro, Sebastian Risi|arXiv (Cornell University)|Jul 6, 2020

Advanced Memory and Neural Computing参考文献 58被引用 22

一句话总结

该论文提出了一种元学习方法，通过为随机初始化的神经网络演化突触特异性赫布可塑性规则，实现在无显式奖励信号情况下的终身适应。该方法通过允许权重通过局部赫布学习规则自组织，实现快速且鲁棒的性能表现，在视觉控制和3D运动控制任务中表现优异——例如在100个时间步内即能适应受损四足机器人的导航任务，其权重在权重空间中收敛至高性能吸引子。

ABSTRACT

Lifelong learning and adaptability are two defining aspects of biological agents. Modern reinforcement learning (RL) approaches have shown significant progress in solving complex tasks, however once training is concluded, the found solutions are typically static and incapable of adapting to new information or perturbations. While it is still not completely understood how biological brains learn and adapt so efficiently from experience, it is believed that synaptic plasticity plays a prominent role in this process. Inspired by this biological mechanism, we propose a search method that, instead of optimizing the weight parameters of neural networks directly, only searches for synapse-specific Hebbian learning rules that allow the network to continuously self-organize its weights during the lifetime of the agent. We demonstrate our approach on several reinforcement learning tasks with different sensory modalities and more than 450K trainable plasticity parameters. We find that starting from completely random weights, the discovered Hebbian rules enable an agent to navigate a dynamical 2D-pixel environment; likewise they allow a simulated 3D quadrupedal robot to learn how to walk while adapting to morphological damage not seen during training and in the absence of any explicit reward or error signal in less than 100 timesteps. Code is available at https://github.com/enajx/HebbianMetaLearning.

研究动机与目标

• 开发一种元学习框架，仅通过赫布可塑性规则实现人工智能体的终身适应能力。
• 探究通过演化局部学习规则，随机初始化的网络是否能在复杂强化学习任务中实现高性能。
• 证明赫布可塑性能在无显式奖励信号的情况下实现对未见形态损伤的快速适应。
• 探索将可塑性规则作为主要可学习组件（而非网络权重）在强化学习中的潜力。
• 通过挑战静态预训练权重是性能必要条件的假设，激发神经启发学习的新研究方向。

提出的方法

• 采用神经演化方法演化连接特异性赫布学习规则，以优化在强化学习任务中的表现。
• 网络权重从均匀分布U[-0.1, 0.1]中随机初始化，不进行预训练或微调。
• 可塑性规则基于突触前与突触后活动的相关性，遵循原则：Δw ∝ pre × post。
• 学习规则在智能体部署期间持续应用，实现其整个生命周期中的动态权重更新。
• 该方法采用可微分演化策略，在多个随机初始化和任务实例上优化可塑性规则。
• 在视觉控制任务（CarRacing）和3D四足运动控制任务中评估性能，包括训练期间未见的形态损伤。

实验结果

研究问题

• RQ1 在随机网络中演化出的赫布可塑性规则是否能实现复杂强化学习任务中的快速、无奖励适应？
• RQ2 此类网络是否在泛化能力和形态损伤鲁棒性方面优于固定权重网络？
• RQ3 通过赫布规则实现的自组织是否能导致权重空间中稳定且高性能的权重吸引子收敛？
• RQ4 当大量权重被置零时，演化赫布网络的性能有多强鲁棒性？
• RQ5 局部、非反向传播的可塑性机制是否能在复杂控制任务中实现与基于梯度方法相当的性能？

主要发现

• 赫布网络在CarRacing环境中所有100次滚动试验中均表现出高性能，展现出强大鲁棒性与一致性。
• 在3D四足运动任务中，赫布网络成功适应了训练期间未见的形态损伤，而固定权重网络则失败。
• 适应过程在100个时间步内完成，且部署期间未使用任何显式奖励或误差信号。
• 演化后的赫布规则促使网络权重在权重空间中收敛至稳定吸引子，实现快速性能提升。
• 即使高达50%的权重被随机置零，赫布网络仍保持功能性和适应性，表明其具有高度鲁棒性。
• 该方法在性能与适应性方面均优于静态权重网络，尤其在动态、不可预见条件下表现更优。