[论文解读] Deep Hierarchical Planning from Pixels

Danijar Hafner, Kuang-Huei Lee+2 more|arXiv (Cornell University)|Jun 8, 2022

Reinforcement Learning in Robotics被引用 14

一句话总结

Director 是一种分层强化学习智能体，通过在世界模型的潜在空间中进行规划，直接从像素学习长时程视觉控制策略。它使用离散目标自编码器和两级策略——管理层（高层）选择抽象目标，工作者（低层）执行动作——在无全局状态或密集奖励的情况下，在稀疏奖励的3D导航和视觉控制任务中实现了最先进性能。

ABSTRACT

Intelligent agents need to select long sequences of actions to solve complex tasks. While humans easily break down tasks into subgoals and reach them through millions of muscle commands, current artificial intelligence is limited to tasks with horizons of a few hundred decisions, despite large compute budgets. Research on hierarchical reinforcement learning aims to overcome this limitation but has proven to be challenging, current methods rely on manually specified goal spaces or subtasks, and no general solution exists. We introduce Director, a practical method for learning hierarchical behaviors directly from pixels by planning inside the latent space of a learned world model. The high-level policy maximizes task and exploration rewards by selecting latent goals and the low-level policy learns to achieve the goals. Despite operating in latent space, the decisions are interpretable because the world model can decode goals into images for visualization. Director outperforms exploration methods on tasks with sparse rewards, including 3D maze traversal with a quadruped robot from an egocentric camera and proprioception, without access to the global position or top-down view that was used by prior work. Director also learns successful behaviors across a wide range of environments, including visual control, Atari games, and DMLab levels.

研究动机与目标

• 解决在稀疏奖励下视觉控制任务中的长时程强化学习挑战。
• 克服传统扁平强化学习及现有分层方法的局限性，后者需要手动指定子任务或依赖语义目标空间。
• 在无全局状态或密集监督的情况下，直接从原始像素中学习可解释、可泛化的分层行为。
• 使用统一的超参数集，在多种环境（3D导航、Atari、DMLab、Control Suite）中展示成功性能。
• 通过将学习到的潜在目标解码为视觉图像，实现可解释性，供人类检查。

提出的方法

• 训练一个世界模型（基于PlaNet），从像素输入中在紧凑的潜在空间中预测未来观测。
• 引入一种目标自编码器，将潜在状态表示压缩为离散码，以支持高层规划。
• 实现管理层策略，每K=8步选择一次离散目标码，实现更高层次的时间抽象。
• 使用目标解码器将离散码映射回潜在空间目标，供工作者策略追求。
• 训练工作者策略，根据当前状态和目标选择基础动作，以最大化与目标的相似性。
• 通过任务奖励和基于自编码器重构误差的探索奖励，优化管理层，实现时序扩展的探索。

实验结果

研究问题

• RQ1 是否可以在无全局状态或密集奖励的情况下，直接从像素中学习分层强化学习？
• RQ2 学习到的世界模型能否提供可解释的离散目标表示，以支持有效的长时程规划？
• RQ3 采用离散目标选择与潜在空间规划的两级架构，是否在稀疏奖励视觉控制任务中优于扁平策略？
• RQ4 相同的超参数和架构是否能在3D迷宫、Atari和DMLab关卡等多样化视觉环境中实现泛化？
• RQ5 学习到的潜在目标在复杂任务中是否对应于语义上有意义的子目标？

主要发现

• Director 在两个稀疏奖励基准任务中优于标准探索和扁平强化学习基线，包括从第一视角视觉出发的四足机器人3D迷宫导航。
• 智能体成功解决了长时程任务，如Ant Maze M，将导航分解为语义上有意义的子目标，例如在目标物体前先瞄准墙壁。
• 潜在目标具有可解释性：世界模型可将它们解码为图像，表明智能体通过中间视觉地标进行规划。
• Director 在使用相同超参数且不向工作者策略提供任务奖励信号的情况下，泛化至Atari、DMLab和Control Suite等环境。
• 管理层策略通过基于重构误差的奖励学习时序扩展探索，实现在无密集监督下有效发现长距离目标。
• 在Ant Maze等任务中，智能体学习通过选择隐含速度和姿态状态的目标来协调运动与导航，即使这些状态未被显式指定。