[论文解读] DreamerPro: Reconstruction-Free Model-Based Reinforcement Learning with Prototypical Representations

Fei Deng, Ingook Jang+1 more|arXiv (Cornell University)|Oct 27, 2021

Reinforcement Learning in Robotics参考文献 36被引用 11

一句话总结

DreamerPro 提出了一种无需重建的基于模型强化学习智能体，通过原型表征提升对视觉干扰的鲁棒性，同时在标准环境中保持强劲性能。通过从循环世界模型状态中学习原型，它将时序动态提炼为聚类中心，在标准和自然背景的 DeepMind Control 任务中均优于 Dreamer 和基于对比学习的 TPC。

ABSTRACT

Top-performing Model-Based Reinforcement Learning (MBRL) agents, such as Dreamer, learn the world model by reconstructing the image observations. Hence, they often fail to discard task-irrelevant details and struggle to handle visual distractions. To address this issue, previous work has proposed to contrastively learn the world model, but the performance tends to be inferior in the absence of distractions. In this paper, we seek to enhance robustness to distractions for MBRL agents. Specifically, we consider incorporating prototypical representations, which have yielded more accurate and robust results than contrastive approaches in computer vision. However, it remains elusive how prototypical representations can benefit temporal dynamics learning in MBRL, since they treat each image independently without capturing temporal structures. To this end, we propose to learn the prototypes from the recurrent states of the world model, thereby distilling temporal structures from past observations and actions into the prototypes. The resulting model, DreamerPro, successfully combines Dreamer with prototypes, making large performance gains on the DeepMind Control suite both in the standard setting and when there are complex background distractions. Code available at https://github.com/fdeng18/dreamer-pro .

研究动机与目标

• 解决基于重建的世界模型在 MBRL 中的局限性，这些模型容易过度拟合与任务无关的视觉细节，且计算成本高昂。
• 通过采用基于原型的方法，克服无重建 MBRL 中对比学习的不稳定性与批量大小依赖性。
• 将时序动态整合到原型表征中，以保留序列结构，而标准聚类方法往往忽略这一点。
• 在不牺牲标准强化学习基准性能的前提下，提升对视觉干扰的鲁棒性。
• 证明基于原型的表征学习可与世界模型动态有效结合，从而实现更优的 MBRL 性能。

提出的方法

• 从世界模型动力学网络的循环隐藏状态中学习原型，而非直接从原始观测中学习。
• 使用类似对比学习的目标，鼓励批量内聚类分配的均匀性，以区分不同观测。
• 训练世界模型以重建每个观测的聚类分配，而非原始观测，从而减少对低层次视觉噪声的关注。
• 保持可微分的循环状态空间模型（RSSM）用于轨迹生成与规划，支持通过反向传播进行端到端训练。
• 用原型重建损失替代标准观测重建损失，实现表征学习与像素级细节的解耦。
• 采用动量编码器稳定原型更新，类似于 MoCo 或 SwAV，提升训练稳定性。

实验结果

研究问题

• RQ1 在无重建的前提下，基于原型的表征学习能否提升 MBRL 中对视觉干扰的鲁棒性？
• RQ2 将原型与循环世界模型动力学结合，对长时程规划与样本效率有何影响？
• RQ3 在多样化视觉环境中，基于原型的世界模型是否优于基于重建（Dreamer）和基于对比学习（TPC）的方法？
• RQ4 基于原型的学习能否在标准控制任务中保持高性能，同时在干扰性背景中表现卓越？
• RQ5 在无显式监督或实例级对比比较的情况下，能否有效将时序结构提炼到原型中？

主要发现

• 在 DeepMind Control 套件的所有任务中，DreamerPro 均持续优于 Dreamer 和 TPC，尤其在自然背景干扰场景下表现更优。
• 在标准 DMC 设置下，尽管去除了重建损失，DreamerPro 的性能仍与 Dreamer 相当或更优。
• 在自然背景设置下，当背景干扰物被真实世界视频片段替代时，DreamerPro 显著优于 Dreamer 和 TPC。
• 基于原型的方法降低了对视觉噪声和无关任务细节的敏感性，表现为世界模型轨迹生成更稳定、更准确。
• 通过聚焦于原型中编码的可预测、与任务相关联的动力学，模型实现了更高的样本效率和策略性能。
• 消融实验确认，使用循环状态进行原型学习至关重要——直接基于观测的原型无法捕捉时序结构，且性能较差。