[论文解读] Continual State Representation Learning for Reinforcement Learning using Generative Replay

Hugo Caselles-Dupré, M. Ortíz+1 more|arXiv (Cornell University)|Oct 9, 2018

Reinforcement Learning in Robotics参考文献 17被引用 19

一句话总结

本文提出了一种基于变分自编码器（VAEs）和生成回放的持续状态表征学习方法，以防止灾难性遗忘。通过在VAE重构误差上使用Welch's t检验自动检测环境变化，并生成过去经验样本，该模型维持了有界的系统规模，并实现了前向迁移，在强化学习性能上优于微调和原始输入基线方法。

ABSTRACT

We consider the problem of building a state representation model in a continual fashion. As the environment changes, the aim is to efficiently compress the sensory state's information without losing past knowledge. The learned features are then fed to a Reinforcement Learning algorithm to learn a policy. We propose to use Variational Auto-Encoders for state representation, and Generative Replay, i.e. the use of generated samples, to maintain past knowledge. We also provide a general and statistically sound method for automatic environment change detection. Our method provides efficient state representation as well as forward transfer, and avoids catastrophic forgetting. The resulting model is capable of incrementally learning information without using past data and with a bounded system size.

研究动机与目标

• 为通过在不断演化的环境中维持稳定的状态表征，解决持续强化学习中的灾难性遗忘问题。
• 实现在无过去经验数据访问情况下的自主、数据高效学习。
• 开发一种统计上可靠的自动方法，用于在持续学习过程中检测环境变化。
• 评估所学状态表征是否支持强化学习中高效且可迁移的策略学习。
• 通过VAE结合生成回放，展示前向迁移能力与对分布偏移的鲁棒性。

提出的方法

• 使用变分自编码器（VAEs）从感官输入中学习压缩且解耦的状态表征。
• 通过从先前环境的VAE潜在空间采样来实施生成回放，以增强新经验，防止遗忘。
• 在VAE重构误差分布上应用Welch's t检验，以自动检测环境变化，避免使用任意阈值。
• 在真实新数据与生成的过去数据联合分布上训练VAE，维持有界的系统规模。
• 使用统计假设检验（原假设：均值重构误差相等），p值阈值为0.01，以检测分布偏移。
• 通过在不同训练模式下训练的VAE所提取的表征，使用PPO进行强化学习训练来评估性能。

实验结果

研究问题

• RQ1 使用VAE的生成回放是否能有效防止在持续状态表征学习中发生灾难性遗忘？
• RQ2 所提出的自动环境变化检测方法是否能在无先验知识的情况下可靠识别分布偏移？
• RQ3 所学状态表征是否能支持强化学习中高效且高性能的策略学习？
• RQ4 是否存在前向迁移，即早期环境中的知识是否能提升后续任务的性能？
• RQ5 在重构保真度和强化学习样本效率方面，该方法与微调和原始输入基线相比表现如何？

主要发现

• 在重构误差上使用Welch's t检验，当环境变化存在时，该方法检测准确率达到100%；当无变化时，准确率高达99.5%。
• 与微调方法相比，生成回放将环境1的重构均方误差（MSE）降低至3.3×10⁻⁴，而微调方法为1.3×10⁻³，表明遗忘被有效缓解。
• 在环境2中，两种方法的MSE相近（6.4×10⁻⁴ vs. 9.3×10⁻⁴），证实当前任务性能未下降。
• 在PPO训练中，使用生成回放的VAE表征所获得的最终平均奖励显著高于微调和原始输入方法，尤其在第二个环境中表现更优。
• 该方法展示了前向迁移：在第一个环境特征上训练的策略在第二个环境中表现良好，表明具有良好的泛化能力。
• VAE结合生成回放的方法在样本效率和最终性能上均优于所有基线，证实其在持续强化学习中的有效性。