[论文解读] Meta-Reinforcement Learning with Self-Modifying Networks

Mathieu Chalvidal, T. Serre+1 more|arXiv (Cornell University)|Feb 4, 2022

Data Stream Mining Techniques被引用 5

一句话总结

该论文提出 MetODS，一种元强化学习框架，使神经网络能够使用基于内部突触状态和外部奖励信号的自指更新规则，在实时中自我修改其突触权重。该模型通过单一轻量级层实现了零样本学习、对未见环境的泛化能力以及稳健的连续运动控制，表明快速、动态的可塑性可在无需基于梯度的权重更新的情况下，支持强大且自适应的强化学习。

ABSTRACT

Deep Reinforcement Learning has demonstrated the potential of neural networks tuned with gradient descent for solving complex tasks in well-delimited environments. However, these neural systems are slow learners producing specialized agents with no mechanism to continue learning beyond their training curriculum. On the contrary, biological synaptic plasticity is persistent and manifold, and has been hypothesized to play a key role in executive functions such as working memory and cognitive flexibility, potentially supporting more efficient and generic learning abilities. Inspired by this, we propose to build networks with dynamic weights, able to continually perform self-reflexive modification as a function of their current synaptic state and action-reward feedback, rather than a fixed network configuration. The resulting model, MetODS (for Meta-Optimized Dynamical Synapses) is a broadly applicable meta-reinforcement learning system able to learn efficient and powerful control rules in the agent policy space. A single layer with dynamic synapses can perform one-shot learning, generalizes navigation principles to unseen environments and manifests a strong ability to learn adaptive motor policies.

研究动机与目标

• 开发一种元强化学习系统，使学习能够持续进行并超越固定训练课程。
• 探究自指突触权重更新是否能够支持快速的任务专业化和认知灵活性。
• 探索快速突触可塑性在实现人工智能体高效、通用的强化学习中的作用。
• 评估模型在未见环境以及运动障碍条件下的鲁棒性和泛化能力。

提出的方法

• 该模型采用自指权重更新规则，其中突触变化取决于当前突触状态和动作-奖励反馈。
• 通过反馈控制机制实时更新动态突触，基于内部状态和奖励历史调节策略。
• 该方法被形式化为策略空间中的无模型随机反馈控制，避免时间反向传播。
• 单层网络采用轻量化参数化，实现包括零样本学习和连续运动控制在内的多种认知功能。
• 系统端到端训练以优化episode间的元奖励，实现对新任务的快速适应。
• 突触动力学受生物快速可塑性启发，实现在无需重训练的情况下快速重构网络功能。

实验结果

研究问题

• RQ1 具备自指突触更新的神经网络能否实现零样本学习并泛化到未见过的环境？
• RQ2 与标准基于梯度的训练相比，动态突触可塑性在适应性和样本效率方面表现如何？
• RQ3 自修改网络在运动能力受损条件下能否维持性能，表明其鲁棒性？
• RQ4 单层网络通过动态权重在多大程度上能实现复杂控制策略？
• RQ5 快速突触可塑性能否作为训练自适应强化学习智能体的可行替代方案，取代梯度下降？

主要发现

• 在 MetaWorld 基准测试中，MetODS 在仅训练 1000 万步的情况下，元测试成功率优于基线方法。
• 该模型展示了零样本学习能力，能将导航原则泛化到此前未见过的环境中。
• 在连续运动控制任务中，当运动能力受损时，MetODS 保持了更高比例的原始性能，表明其具备鲁棒性。
• 该模型在训练初期即优于基线方法，表明收敛速度更快且样本效率更高。
• 尽管在某些情况下 ML-10 任务表现平平，该系统在包括推、抓取和 ML-10 环境在内的多样化任务中均表现出强大的泛化能力。
• 结果支持了如下假设：自指突触可塑性可作为自主、自适应强化学习程序的基础。