[论文解读] Bridging Imagination and Reality for Model-Based Deep Reinforcement Learning

Guangxiang Zhu, Minghao Zhang+2 more|arXiv (Cornell University)|Oct 23, 2020

Reinforcement Learning in Robotics参考文献 60被引用 6

一句话总结

BIRD 是一种新颖的基于模型的强化学习框架，通过最大化想象轨迹与真实轨迹之间的互信息，提升样本效率，使在模拟数据上改进的策略能够有效泛化到真实环境。通过将可微分规划与现实感知策略优化相结合，BIRD 在视觉控制基准测试中实现了最先进性能，其样本效率和泛化能力优于先前方法（如 Dreamer）。

ABSTRACT

Sample efficiency has been one of the major challenges for deep reinforcement learning. Recently, model-based reinforcement learning has been proposed to address this challenge by performing planning on imaginary trajectories with a learned world model. However, world model learning may suffer from overfitting to training trajectories, and thus model-based value estimation and policy search will be pone to be sucked in an inferior local policy. In this paper, we propose a novel model-based reinforcement learning algorithm, called BrIdging Reality and Dream (BIRD). It maximizes the mutual information between imaginary and real trajectories so that the policy improvement learned from imaginary trajectories can be easily generalized to real trajectories. We demonstrate that our approach improves sample efficiency of model-based planning, and achieves state-of-the-art performance on challenging visual control benchmarks.

研究动机与目标

• 解决基于模型的深度强化学习中，由学习的世界模型生成的想象轨迹与真实轨迹之间存在的分布偏移这一关键挑战。
• 克服现有基于分析梯度的方法仅在不完美的想象轨迹上优化策略所导致的真实世界性能不佳的局限性。
• 通过互信息最大化，使在想象中学习的策略能够稳健泛化到真实环境，从而提升样本效率。
• 构建一个统一框架，整合置信度感知策略优化、熵正则化与模型学习，以提升泛化能力。
• 证明互信息最大化在提升真实世界性能方面的优越性，而非简单增加策略熵。

提出的方法

• 提出一种可微分规划框架，在由学习的世界模型生成的想象轨迹上执行策略优化。
• 引入真实轨迹与想象轨迹之间互信息最大化的目标，以对齐策略在想象中的行为与真实环境动力学。
• 制定联合优化目标，结合策略梯度更新与互信息最大化，采用对比学习原理。
• 引入置信度感知策略优化，重新估计轨迹并聚焦于高置信度预测，减少对模型误差的过拟合。
• 使用熵正则化以维持探索性，防止策略过早收敛至次优解。
• 通过结合真实经验与合成轨迹 rollout，端到端训练世界模型与策略，互信息作为关键正则化项。

实验结果

研究问题

• RQ1 真实轨迹与想象轨迹之间的互信息最大化是否能提升基于模型强化学习中的策略泛化能力？
• RQ2 BIRD 的现实感知训练机制是否优于仅在想象轨迹上优化的标准基于模型强化学习方法？
• RQ3 BIRD 的性能提升是源于互信息最大化，还是仅仅因为策略熵的增加？
• RQ4 BIRD 在需要准确预测关键动作的长时域控制任务中泛化能力如何？
• RQ5 BIRD 是否能在保持最先进的复杂视觉控制基准性能的同时，维持样本效率？

主要发现

• BIRD 在 DeepMind Control Suite（图像输入）上实现了最先进性能，相较于先前基于模型的方法，显著提升了样本效率。
• 消融实验表明，BIRD 的优越性源于互信息最大化，而非策略熵的增加；与仅增加熵的 Soft-BIRD 相比，BIRD 表现更优。
• BIRD 在关键动作（如 Hopper Hop 中的起飞、Walker Run 中的跺脚）上的预测更准确，表明其具备更强的真实世界预见能力。
• 可视化结果表明，BIRD 的世界模型在真实轨迹上的泛化能力更强，尤其在误差累积至关重要的长时域任务中。
• 置信度感知策略优化组件可防止智能体在训练初期被低置信度、高误差预测误导。
• BIRD 通过将模拟中策略行为与实际环境动力学对齐，显著缩小了想象与现实之间的差距，从而实现更鲁棒的真实世界性能。