[论文解读] Modular Lifelong Reinforcement Learning via Neural Composition

Jorge A. Mendez, Harm van Seijen+1 more|arXiv (Cornell University)|Jul 1, 2022

Reinforcement Learning in Robotics被引用 8

一句话总结

本文提出了一种新颖的模块化终身强化学习框架，将任务分解为可重用的神经组件，通过功能组合实现新任务的快速学习。通过将训练过程分离为模块发现、任务特定微调以及知识巩固的离线批量强化学习，该方法显著提升了正向迁移效果，并完全消除了灾难性遗忘，在离散和机器人操作任务上均优于以往的终身强化学习方法。

ABSTRACT

Humans commonly solve complex problems by decomposing them into easier subproblems and then combining the subproblem solutions. This type of compositional reasoning permits reuse of the subproblem solutions when tackling future tasks that share part of the underlying compositional structure. In a continual or lifelong reinforcement learning (RL) setting, this ability to decompose knowledge into reusable components would enable agents to quickly learn new RL tasks by leveraging accumulated compositional structures. We explore a particular form of composition based on neural modules and present a set of RL problems that intuitively admit compositional solutions. Empirically, we demonstrate that neural composition indeed captures the underlying structure of this space of problems. We further propose a compositional lifelong RL method that leverages accumulated neural components to accelerate the learning of future tasks while retaining performance on previous tasks via off-line RL over replayed experiences.

研究动机与目标

• 使智能体能够在一系列强化学习任务中学习并重用功能组件，模拟人类的功能组合推理能力。
• 通过在重放经验上使用离线批量强化学习，解决终身强化学习中的灾难性遗忘问题。
• 设计一种方法，通过结构化的神经模块重用，实现零样本泛化和新组合任务的快速适应。
• 通过实证验证，功能性组合性可在现实的、分层的强化学习环境中被学习并有效利用。

提出的方法

• 该方法将学习过程划分为三个阶段：(1) 为当前任务发现有效的模块组合，(2) 使用最佳组合通过在线强化学习进行微调，(3) 通过离线批量强化学习将新知识整合到现有模块中。
• 神经模块针对不同的任务组件进行专业化设计——如静态物体、目标或智能体，实现模块化输入处理，而非整体链式结构。
• 该架构基于任务相关组件对输入进行解耦，提升模块化程度和功能组合间的兼容性。
• 在知识巩固阶段，采用离线强化学习（如BCQ或CQL）以防止遗忘，替代在线正则化或经验回放。
• 使用问题图形式化建模组合任务，支持对零样本泛化和任务变体间迁移的系统性评估。
• 该方法在两个领域进行评估：一个离散的2D网格世界和一个机器人操作套件，两者均表现出多层次的组合结构。

实验结果

研究问题

• RQ1 在终身设置下，强化学习中的功能性组合性是否能被有效学习并跨任务重用？
• RQ2 与标准的终身强化学习方法相比，分离模块发现、微调和巩固阶段是否能提升学习速度并防止遗忘？
• RQ3 使用离线批量强化学习进行知识巩固，是否显著优于在线正则化或经验回放，以防止灾难性遗忘？
• RQ4 该方法对每类组件的模块数量变化有多鲁棒？在架构扰动下是否仍能保持性能？
• RQ5 与整体式模型相比，该模块化架构是否能实现更好的零样本泛化和正向迁移？

主要发现

• 所提出的P&C结合批量RL的方法在2D离散环境和机器人操作环境中完全抑制了遗忘，优于EWC及其他终身强化学习基线方法。
• 使用批量RL进行知识巩固，相比在线正则化，能带来更好的正向迁移效果，表明稳定的知识保留有助于未来学习。
• 该方法实现了强大的零样本泛化能力：当测试中使用错误模块时，若使用了错误的目标或智能体模块，性能会急剧下降，验证了模块功能的专业化程度。
• 该架构对模块数量变化具有鲁棒性——即使每类组件使用更多或更少的模块，性能仍保持稳定，表明其设计具备灵活性。
• 即使采用相同的训练目标（CLEAR），将整体式架构替换为所提出的模块化设计，性能也显著提升，证明了架构组合性的优势。
• 在机器人操作套件中，该方法的训练速度超越标准训练（STL），且未因遗忘导致性能下降，展示了其在真实场景中的适用性。