[论文解读] Lifelong Reinforcement Learning with Modulating Masks

Eseoghene Ben-Iwhiwhu, Saptarshi Nath+3 more|arXiv (Cornell University)|Dec 21, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出用于终身强化学习（LRL）的调制掩码，实现了在连续任务中持续学习而不会发生灾难性遗忘。通过训练调制共享主干策略网络的特定任务掩码——尤其在PPO和IMPALA智能体中——该方法实现了更优性能，并通过过去掩码的线性组合实现前向迁移，从而从零开始解决标准强化学习无法应对的极稀疏奖励任务。

ABSTRACT

Lifelong learning aims to create AI systems that continuously and incrementally learn during a lifetime, similar to biological learning. Attempts so far have met problems, including catastrophic forgetting, interference among tasks, and the inability to exploit previous knowledge. While considerable research has focused on learning multiple supervised classification tasks that involve changes in the input distribution, lifelong reinforcement learning (LRL) must deal with variations in the state and transition distributions, and in the reward functions. Modulating masks with a fixed backbone network, recently developed for classification, are particularly suitable to deal with such a large spectrum of task variations. In this paper, we adapted modulating masks to work with deep LRL, specifically PPO and IMPALA agents. The comparison with LRL baselines in both discrete and continuous RL tasks shows superior performance. We further investigated the use of a linear combination of previously learned masks to exploit previous knowledge when learning new tasks: not only is learning faster, the algorithm solves tasks that we could not otherwise solve from scratch due to extremely sparse rewards. The results suggest that RL with modulating masks is a promising approach to lifelong learning, to the composition of knowledge to learn increasingly complex tasks, and to knowledge reuse for efficient and faster learning.

研究动机与目标

• 通过利用调制掩码隔离特定任务的策略参数，解决终身强化学习（LRL）中的灾难性遗忘与干扰问题。
• 通过先前学习任务的掩码线性组合复用知识，实现在LRL中的前向迁移。
• 将此前仅用于监督终身学习的调制掩码方法，扩展至使用策略梯度方法的深度强化学习。
• 在Minigrid、Metaworld和ProcGen等复杂环境（尤其具有稀疏奖励的环境）中，展示基于掩码方法的可扩展性与高效性。
• 研究基于掩码的终身强化学习的表征能力与内存效率，提出通过掩码叠加减少存储量的策略。

提出的方法

• 将通过梯度下降训练的调制掩码适配至PPO和IMPALA智能体中的深度策略网络，其中每个掩码调制主干网络的参数或激活值。
• 独立训练特定任务的掩码，同时保持主干网络固定，确保任务间无灾难性遗忘。
• 使用先前训练掩码的线性组合作为新任务的初始化，实现知识迁移并加快收敛速度。
• 在新任务学习过程中，通过基于梯度的优化微调线性掩码组合的系数，实现高效适应。
• 引入任务判别器以识别任务边界，并在推理时分配正确掩码，未来工作将探索与任务检测方法的集成。
• 通过每层使用标量掩码或限制存储掩码数量，探索减少掩码存储的内存效率，使新任务以现有掩码的叠加形式学习。

实验结果

研究问题

• RQ1 调制掩码能否在多样化的连续与离散控制任务中，有效防止终身强化学习中的灾难性遗忘？
• RQ2 先前学习掩码的线性组合在LRL中能在多大程度上加速新任务的学习，尤其是在稀疏奖励环境中？
• RQ3 与标准LRL基线相比，调制掩码的使用在序列任务学习中对累积性能与稳定性有何影响？
• RQ4 掩码稀疏性与表征能力对终身强化学习中策略性能与泛化能力有何影响？
• RQ5 通过与任务检测机制集成，该基于掩码的方法能否扩展至处理未知或动态变化的任务边界？

主要发现

• 调制掩码方法在Minigrid、CT-Graph、Metaworld和ProcGen等LRL基准测试中均取得优异性能，未观察到灾难性遗忘。
• 过去掩码的线性组合实现了前向迁移，使智能体仅通过随机探索即可解决奖励极低的任务（每集低至5.6×10⁻⁶）。
• 当使用先前掩码的线性组合初始化时，该方法在新任务上收敛速度显著快于从零开始训练。
• 该方法具有内存效率：仅存储有限数量的掩码，并通过线性叠加复用，显著降低存储需求，尤其在任务数量增加时优势明显。
• 使用每层标量掩码或稀疏二值掩码可在保持性能的同时减少内存占用，表明其可扩展至大规模任务集合。
• 该方法在多种强化学习算法（PPO与IMPALA）中均表现有效，表明其在深度策略优化框架中具有广泛适用性。