[论文解读] Model-Free Generative Replay for Lifelong Reinforcement Learning: Application to Starcraft-2

Zachary Daniels, Aswin Raghavan+5 more|arXiv (Cornell University)|Aug 9, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出了一种无模型的生成式回放框架，用于终身强化学习，通过使用深度强化学习策略潜在表征的内省密度建模来防止灾难性遗忘。通过结合唤醒-睡眠周期与睡眠阶段的生成模型及随机回放缓冲区，该方法仅使用6%的训练样本，就在StarCraft II中实现了80–90%的专家性能，其中隐藏式回放架构表现出更优的稳定性和泛化能力。

ABSTRACT

One approach to meet the challenges of deep lifelong reinforcement learning (LRL) is careful management of the agent's learning experiences, to learn (without forgetting) and build internal meta-models (of the tasks, environments, agents, and world). Generative replay (GR) is a biologically inspired replay mechanism that augments learning experiences with self-labelled examples drawn from an internal generative model that is updated over time. We present a version of GR for LRL that satisfies two desiderata: (a) Introspective density modelling of the latent representations of policies learned using deep RL, and (b) Model-free end-to-end learning. In this paper, we study three deep learning architectures for model-free GR, starting from a naïve GR and adding ingredients to achieve (a) and (b). We evaluate our proposed algorithms on three different scenarios comprising tasks from the Starcraft-2 and Minigrid domains. We report several key findings showing the impact of the design choices on quantitative metrics that include transfer learning, generalization to unseen tasks, fast adaptation after task change, performance wrt task expert, and catastrophic forgetting. We observe that our GR prevents drift in the features-to-action mapping from the latent vector space of a deep RL agent. We also show improvements in established lifelong learning metrics. We find that a small random replay buffer significantly increases the stability of training. Overall, we find that "hidden replay" (a well-known architecture for class-incremental classification) is the most promising approach that pushes the state-of-the-art in GR for LRL and observe that the architecture of the sleep model might be more important for improving performance than the types of replay used. Our experiments required only 6% of training samples to achieve 80-90% of expert performance in most Starcraft-2 scenarios.

研究动机与目标

• 通过保留先前学习任务的知识，解决终身强化学习（LRL）中的灾难性遗忘问题。
• 开发一种无模型、端到端的生成式回放方法，避免显式建模动态系统与奖励函数学习。
• 实现对策略潜在表征的内省密度建模，以改善记忆巩固，而无需依赖高维观测分布。
• 提升在复杂环境（如StarCraft II和MiniGrid）中顺序任务间的泛化能力与快速适应能力。
• 研究回放架构及辅助组件（如随机回放）对终身学习性能指标的影响。

提出的方法

• 采用唤醒-睡眠周期框架：在唤醒阶段，代理通过现成的深度强化学习方法学习当前任务；在睡眠阶段，基于存储的经验训练生成模型。
• 使用变分自编码器（VAE）对策略网络潜在表征的密度进行建模，从而实现观测-动作对的自监督回放。
• 实施策略蒸馏，将过往策略的知识迁移至当前策略中，以巩固程序性知识。
• 引入一个小型原始观测-动作对随机回放缓冲区，以稳定跨任务的特征空间对齐。
• 在唤醒-睡眠框架内评估三种架构——朴素GR、隐藏式回放和双头GR，以比较生成式回放的有效性。
• 使用主成分分析（PCA）可视化并比较潜在空间中的真实特征、重构特征与生成特征。

实验结果

研究问题

• RQ1 使用潜在表征的无模型生成式回放是否能缓解终身深度强化学习中的灾难性遗忘？
• RQ2 对策略潜在状态进行内省密度建模，与直接回放原始轨迹或观测相比，效果如何？
• RQ3 将生成式回放与随机回放缓冲区结合，对特征空间稳定性和性能有何影响？
• RQ4 不同生成式回放架构（如隐藏式回放与双头架构）对迁移、泛化和遗忘指标的影响如何？
• RQ5 在仅使用少量训练数据（如6%）的情况下，该生成式回放机制能在多大程度上实现专家级性能？

主要发现

• 隐藏式回放架构表现最佳，显著减少了遗忘，并提升了任务间的迁移与泛化能力。
• 仅使用6%的训练样本，模型在大多数StarCraft II场景中实现了80–90%的专家性能。
• 当与隐藏式回放结合时，随机回放显著提升了性能指标（PM、FTR），并稳定了潜在特征空间，减少了任务间特征漂移。
• PCA可视化显示，当随机回放与隐藏式回放结合时，跨不相似任务的分布重叠显著改善，特征空间对齐性显著提升。
• 生成模型成功重构并生成了有意义的潜在特征，在'DefeatRoaches'任务中，重构特征与真实特征高度匹配。
• 睡眠阶段的生成模型有效巩固了先前任务的知识，通过蒸馏策略知识，实现了对新任务的快速适应。