[论文解读] Continual Learning Using World Models for Pseudo-Rehearsal

Nicholas Ketz, Soheil Kolouri+1 more|arXiv (Cornell University)|Mar 6, 2019

Model Reduction and Neural Networks参考文献 31被引用 4

一句话总结

本文提出了一种无需标签的持续学习方法，用于世界模型，采用伪回放机制，将过去经验的内部生成轨迹与真实环境交互交错进行，以防止灾难性遗忘。该方法实现了在无任务分割的情况下，对连续的Atari游戏环境中稳定地进行无监督时序预测，并实现部分持续学习。

ABSTRACT

The utility of learning a dynamics/world model of the environment in reinforcement learning has been shown in a many ways. When using neural networks, however, these models suffer catastrophic forgetting when learned in a lifelong or continual fashion. Current solutions to the continual learning problem require experience to be segmented and labeled as discrete tasks, however, in continuous experience it is generally unclear what a sufficient segmentation of tasks would be. Here we propose a method to continually learn these internal world models through the interleaving of internally generated episodes of past experiences (i.e., pseudo-rehearsal). We show this method can sequentially learn unsupervised temporal prediction, without task labels, in a disparate set of Atari games. Empirically, this interleaving of the internally generated rollouts with the external environment's observations leads to a consistent reduction in temporal prediction loss compared to non-interleaved learning and is preserved over repeated random exposures to various tasks. Similarly, using a network distillation approach, we show that modern policy gradient based reinforcement learning algorithms can use this internal model to continually learn to optimize reward based on the world model's representation of the environment.

研究动机与目标

• 解决终身强化学习中灾难性遗忘问题，且无需显式任务分割。
• 探究伪回放是否能保持在连续、未标记环境中的世界模型性能。
• 评估内部世界模型在支持深度强化学习智能体持续策略学习中的效用。
• 研究模拟轨迹在维持表征稳定性及实现迁移中的作用。

提出的方法

• 该方法使用一个世界模型架构（M），基于原始像素转移序列来预测未来状态、动作和奖励。
• 通过保留的世界模型副本（M*）生成合成轨迹，并在训练过程中将这些轨迹与真实经验交错进行，实现伪回放。
• 内部模型通过在真实和模拟转移上使用无监督时序预测损失进行训练。
• 使用策略梯度训练一个独立的智能体（C），以世界模型的潜在表征作为决策输入。
• 训练过程交替更新世界模型和智能体，使用真实和模拟数据。
• 该方法通过将环境流视为连续的、未标记的经验序列，避免了任务标签。

实验结果

研究问题

• RQ1 在无任务分割的持续、未标记环境中，伪回放能否稳定世界模型学习？
• RQ2 将模拟轨迹与真实经验交错，如何随时间影响时序预测损失？
• RQ3 内部世界模型在多大程度上能支持强化学习智能体的持续策略学习？
• RQ4 伪回放轨迹的质量与世界模型性能保留之间存在何种关系？
• RQ5 该方法是否能在无显式任务边界的条件下，实现在不同Atari游戏之间的知识迁移？

主要发现

• 与非交错训练相比，伪回放的交错训练在重复暴露过程中始终显著降低了时序预测损失。
• 即使在多次随机暴露于新任务后，世界模型在先前见过的Atari游戏中仍保持了稳定性能，表明灾难性遗忘现象减少。
• 对于控制智能体而言，伪回放提升了任务1（River Raid）的累积奖励，非交错训练在后期训练阶段出现了可测量的性能下降。
• 由于任务2（Tutankham）缺乏奖励信号，未观察到显著性能差异；任务3（Crazy Climber）也未表现出明显优势，可能由于任务复杂度较低或方差较高。
• 结果表明，尽管世界模型从伪回放中显著受益，但智能体的持续学习对网络架构设计（如动作空间表示）和训练动态更为敏感。
• 本研究证明，伪回放可在无标签的持续学习设置中有效应用，尤其适用于无监督世界模型训练。