[论文解读] Dreaming: Model-based Reinforcement Learning by Latent Imagination without Reconstruction

Masashi Okada, Tadahiro Taniguchi|arXiv (Cornell University)|Jul 29, 2020

Reinforcement Learning in Robotics参考文献 37被引用 9

一句话总结

该论文提出 Dreaming，一种无需解码器的基于模型强化学习方法，通过将 Dreamer 的自编码目标替换为无似然性 InfoMax 对比学习目标，以克服物体消失问题。通过引入线性动力学和随机裁剪增强，Dreaming 在 Dreamer 因物体感知能力差而失败的具有挑战性的模拟机器人任务中实现了最先进性能。

ABSTRACT

In the present paper, we propose a decoder-free extension of Dreamer, a leading model-based reinforcement learning (MBRL) method from pixels. Dreamer is a sample- and cost-efficient solution to robot learning, as it is used to train latent state-space models based on a variational autoencoder and to conduct policy optimization by latent trajectory imagination. However, this autoencoding based approach often causes object vanishing, in which the autoencoder fails to perceives key objects for solving control tasks, and thus significantly limiting Dreamer's potential. This work aims to relieve this Dreamer's bottleneck and enhance its performance by means of removing the decoder. For this purpose, we firstly derive a likelihood-free and InfoMax objective of contrastive learning from the evidence lower bound of Dreamer. Secondly, we incorporate two components, (i) independent linear dynamics and (ii) the random crop data augmentation, to the learning scheme so as to improve the training performance. In comparison to Dreamer and other recent model-free reinforcement learning methods, our newly devised Dreamer with InfoMax and without generative decoder (Dreaming) achieves the best scores on 5 difficult simulated robotics tasks, in which Dreamer suffers from object vanishing.

研究动机与目标

• 为解决 Dreamer（一种从像素输入出发的领先基于模型强化学习方法）中因小物体或关键物体的重建信号微弱而导致的物体消失问题。
• 消除 Dreamer 中对生成解码器的需求，降低模型复杂度和参数量，同时不损失性能。
• 开发一种基于变分 ELBO 衍生的无似然性对比表示学习目标，提升对小物体感知的鲁棒性。
• 证明线性动力学和随机裁剪增强是实现无解码器 MBRL 最先进性能的关键组件。

提出的方法

• 从 Dreamer 图模型的证据下界（ELBO）推导出一种无似然性、基于 InfoMax 的对比目标，替代像素空间的重建损失。
• 引入独立的线性动力学以稳定潜在空间表征，并在连续状态之间强制实现时间一致性。
• 应用随机裁剪数据增强，促使编码器关注任务相关特征，而非背景纹理。
• 使用对比学习训练判别器，以最大化潜在状态与未来观测之间的互信息，而无需生成解码器。
• 采用与 Dreamer 相同的策略优化流程，确保兼容性与公平比较。
• 将对比学习目标整合到潜在动力学模型训练中，实现在无需重建的情况下从像素中有效学习表征。

实验结果

研究问题

• RQ1 在视觉控制任务中，无解码器的对比学习目标是否能优于 Dreamer 中的标准自编码目标？
• RQ2 在从像素输入出发的无解码器 MBRL 中，哪些组件是实现最先进性能的关键？
• RQ3 线性动力学与随机裁剪增强是否能提升表征质量与下游控制性能？
• RQ4 所提出的方法是否能克服在 Dreamer 因小物体感知能力差而失败的任务中的物体消失问题？
• RQ5 在具有挑战性的模拟机器人基准测试中，该无解码器方法的性能与 Dreamer 及最先进模型无关强化学习方法相比如何？

主要发现

• Dreaming 在五个具有挑战性的模拟机器人任务中实现了最先进性能，包括 UR5-reach 和 Connector-insert，这些任务中 Dreamer 因物体消失而表现不佳。
• 在 Cup-catch 任务中，Dreaming 在 100K 环境步数时获得 925 ± 48 的回报，显著优于 Dreamer 在相同条件下的 280 ± 437。
• 消融实验表明，超前距离 K=3 提供最优性能，K=3 在多个任务中均获得最高回报。
• 线性动力学与随机裁剪增强的组合至关重要——移除任一组件均导致性能显著下降。
• Dreaming 在最具挑战性的任务上优于近期的模型无关方法（如 SAC 和 SAC-Exploration），证明了基于模型规划与改进表征学习的优势。
• 尽管在困难任务上表现优异，Dreaming 在平面运动任务（如 Walker-walk）中性能下降，原因是背景纹理干扰了表征学习。