[论文解读] Iso-Dream: Isolating and Leveraging Noncontrollable Visual Dynamics in World Models

Minting Pan, Xiangming Zhu+2 more|arXiv (Cornell University)|May 27, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

Iso-Dream 提出了一种新颖的基于模型的强化学习框架，通过使用逆动力学优化将可控与不可控视觉动态在世界模型中解耦，分别隔离到独立的潜在状态分支中。通过将不可控动态向前滚动并利用注意力机制进行整合，该智能体在 CARLA、DeepMind Control Suite、BAIR 和 RoboNet 数据集的视觉控制与预测任务中，实现了优于以往方法的长时程决策能力。

ABSTRACT

World models learn the consequences of actions in vision-based interactive systems. However, in practical scenarios such as autonomous driving, there commonly exists noncontrollable dynamics independent of the action signals, making it difficult to learn effective world models. To tackle this problem, we present a novel reinforcement learning approach named Iso-Dream, which improves the Dream-to-Control framework in two aspects. First, by optimizing the inverse dynamics, we encourage the world model to learn controllable and noncontrollable sources of spatiotemporal changes on isolated state transition branches. Second, we optimize the behavior of the agent on the decoupled latent imaginations of the world model. Specifically, to estimate state values, we roll-out the noncontrollable states into the future and associate them with the current controllable state. In this way, the isolation of dynamics sources can greatly benefit long-horizon decision-making of the agent, such as a self-driving car that can avoid potential risks by anticipating the movement of other vehicles. Experiments show that Iso-Dream is effective in decoupling the mixed dynamics and remarkably outperforms existing approaches in a wide range of visual control and prediction domains.

研究动机与目标

• 为解决在自动驾驶等混合可控与不可控视觉动态环境中学习有效世界模型的挑战。
• 通过使智能体能够预测未来不可控动态（如其他车辆的运动），提升长时程强化学习性能。
• 通过模块化表征学习，分离受动作影响（可控）与不受动作影响（不可控）的状态转移，提升世界模型的解耦性。
• 开发一种更具样本效率和预测能力的MBRL框架，利用未来不可控状态的滚动预测，实现更优的策略学习。

提出的方法

• 将潜在状态分解为两个分支：一个受动作影响的分支用于建模可控动态，另一个无动作依赖的分支用于建模不可控动态。
• 通过优化逆动力学，从状态转移中重建动作，以强制实现可控与不可控组件之间的解耦。
• 采用变分下界目标联合训练世界模型，以最大化重建效果与解耦程度。
• 在策略滚动过程中，利用注意力机制将当前可控状态与未来不可控状态的预测结果进行整合。
• 通过在解耦的潜在想象空间中优化行为策略，实现基于模型的强化学习，支持前瞻性决策。
• 在高维视觉观测上进行训练，并在两个分支中均使用 ST-LSTM 单元进行时序建模。

实验结果

研究问题

• RQ1 将不可控视觉动态隔离是否能提升基于视觉的强化学习中的长时程决策能力？
• RQ2 解耦可控与不可控动态在多大程度上影响世界模型的准确性与样本效率？
• RQ3 逆动力学优化在多大程度上能增强潜在空间中视觉动态的解耦性？
• RQ4 在复杂视觉环境中，整合未来不可控状态预测是否能提升策略性能？

主要发现

• Iso-Dream 在视频预测任务中达到最先进性能，在 BAIR 数据集上 PSNR 为 19.51，SSIM 为 0.768，优于 SVG 和 PhyDNet。
• 在 RoboNet 数据集上，Iso-Dream 的 PSNR 为 21.71，SSIM 为 0.769，相比 SVG 提升 9.3%，相比 PhyDNet 提升 7.7%。
• 定性结果表明，无动作分支成功捕捉了不可控动态（如弹跳小球），而受动作影响的分支则准确建模了可控运动。
• 在 CARLA 自动驾驶基准测试中，Iso-Dream 通过预测其他车辆的运动，实现了更优的风险预判，从而提升了长时程控制性能。
• 尽管每轮训练时间更长，Iso-Dream 在复杂视觉环境中展现出比 DreamerV2 更高的样本效率，表明其具备强大的学习效率。
• 该框架在多种基准上表现出良好的泛化能力，涵盖模拟控制任务、真实世界机器人数据集以及自动驾驶仿真环境。