[论文解读] Fast and Slow Learning of Recurrent Independent Mechanisms

Kanika Madan, Nan Rosemary Ke+3 more|PolyPublie (École Polytechnique de Montréal)|May 18, 2021

Reinforcement Learning in Robotics被引用 5

一句话总结

该论文提出了一种用于循环独立机制（RIMs）的元学习框架，将知识分解为模块化、稀疏连接的组件，其中模块参数可快速适应新任务，而注意力机制则作为缓慢变化的元参数。该方法在分布外泛化条件下，于视觉-语言导航任务中实现了更高的样本效率、更快的适应速度以及改进的零样本和微调迁移性能。

ABSTRACT

Decomposing knowledge into interchangeable pieces promises a generalization advantage when there are changes in distribution. A learning agent interacting with its environment is likely to be faced with situations requiring novel combinations of existing pieces of knowledge. We hypothesize that such a decomposition of knowledge is particularly relevant for being able to generalize in a systematic manner to out-of-distribution changes. To study these ideas, we propose a particular training framework in which we assume that the pieces of knowledge an agent needs and its reward function are stationary and can be re-used across tasks. An attention mechanism dynamically selects which modules can be adapted to the current task, and the parameters of the selected modules are allowed to change quickly as the learner is confronted with variations in what it experiences, while the parameters of the attention mechanisms act as stable, slowly changing, meta-parameters. We focus on pieces of knowledge captured by an ensemble of modules sparsely communicating with each other via a bottleneck of attention. We find that meta-learning the modular aspects of the proposed system greatly helps in achieving faster adaptation in a reinforcement learning setup involving navigation in a partially observed grid world with image-level input. We also find that reversing the role of parameters and meta-parameters does not work nearly as well, suggesting a particular role for fast adaptation of the dynamically selected modules.

研究动机与目标

• 通过将知识分解为可重用的模块化组件，提升分布偏移下强化学习的泛化能力与样本效率。
• 探究将快速适应的模块参数与缓慢适应的注意力元参数分离，是否能增强迁移与适应能力。
• 评估在元学习设置中，注意力与模块参数是否需要不同的学习率和角色。
• 在课程学习设置下，展示零样本和微调迁移在跨任务上的性能提升。
• 验证模块化专业化与通过注意力实现的稀疏通信是否能实现系统性泛化。

提出的方法

• 模型采用一组循环独立模块（RIMs），通过键值注意力机制竞争，以在每个时间步动态选择激活的模块。
• 模块参数在内层学习循环中快速更新，以适应当前任务需求；而注意力机制参数在外部元学习循环中缓慢更新。
• 系统采用两层元学习架构：快速适应模块权重，缓慢元优化注意力参数。
• 通过元学习训练输入注意力与通信注意力机制，根据输入和隐藏状态选择相关模块，实现稀疏、动态的通信。
• 架构通过共享编码器处理图像输入与语言指令，模块化动态由注意力门控的循环更新控制。
• 消融实验通过反转参数与元参数角色、共享学习率以及模块去激活，隔离元学习与模块专业化的作用。

实验结果

研究问题

• RQ1 在模块化架构中分离快速与慢速学习动态，是否能提升强化学习中的样本效率与分布外泛化能力？
• RQ2 注意力机制作为缓慢变化的元参数是否对有效适应至关重要，还是可以反转其角色？
• RQ3 与共享学习率的端到端训练相比，对模块化组件进行元学习有何差异？
• RQ4 通过动态选择的模块能否学习到独特、与任务相关的角色，以支持系统性泛化？
• RQ5 模块化专业化在多大程度上提升了零样本与微调迁移性能？

主要发现

• 所提出的元学习设置——快速模块适应与缓慢注意力元学习——显著提升了样本效率，实现更快收敛与更高的平均回报，尤其在导航任务中表现优异。
• 反转参数与元参数角色（即注意力参数快速更新，模块参数缓慢更新）导致性能显著下降，表明注意力作为稳定元参数具有必要性。
• 在无两层元学习架构的情况下，仅降低注意力参数的学习率无法改善学习效果，表明单纯的缓慢权重更新不足以实现性能提升，必须依赖正确的元优化机制。
• 消融实验确认，活跃模块具有特定且非冗余的角色：当仅保留一个获胜模块时，平均episode长度从192帧（3个活跃模块）急剧上升至2179帧。
• 该模型在未见过的任务与分布上泛化能力更强，在课程学习设置中展现出强大的零样本与微调迁移性能。
• 可视化结果表明，特定模块（如模块5）在接近目标时被持续激活，表明其在状态空间中已学习到与任务相关的特定角色。