[论文解读] Model-Based Reinforcement Learning via Latent-Space Collocation

Oleh Rybkin, Chuning Zhu+4 more|arXiv (Cornell University)|Jun 24, 2021

Reinforcement Learning in Robotics被引用 7

一句话总结

该论文提出LatCo，一种基于模型的强化学习方法，通过优化潜在状态序列而非动作，提升长时程视觉决策能力。通过利用学习到的潜在动力学模型并应用配点法轨迹优化，LatCo在稀疏奖励、长时程机器人操作任务中表现优异，优于以往基于射击法的方法，尤其在不确定性环境下表现更佳。

ABSTRACT

The ability to plan into the future while utilizing only raw high-dimensional observations, such as images, can provide autonomous agents with broad capabilities. Visual model-based reinforcement learning (RL) methods that plan future actions directly have shown impressive results on tasks that require only short-horizon reasoning, however, these methods struggle on temporally extended tasks. We argue that it is easier to solve long-horizon tasks by planning sequences of states rather than just actions, as the effects of actions greatly compound over time and are harder to optimize. To achieve this, we draw on the idea of collocation, which has shown good results on long-horizon tasks in optimal control literature, and adapt it to the image-based setting by utilizing learned latent state space models. The resulting latent collocation method (LatCo) optimizes trajectories of latent states, which improves over previously proposed shooting methods for visual model-based RL on tasks with sparse rewards and long-term goals. Videos and code at https://orybkin.github.io/latco/.

研究动机与目标

• 解决在长时程、高维视觉强化学习任务中基于动作的规划方法的局限性。
• 通过在紧凑且学习到的潜在空间中规划，而非直接在图像空间中规划，改善信用分配与轨迹优化。
• 通过建模未来状态分布，实现不确定性下的有效规划，不同于确定性方法。
• 将一种强大的最优控制技术——配点法——扩展至使用深度潜在动力学模型的图像观测。
• 提供即插即用的优化器，可增强现有基于模型的强化学习框架，无需进行奖励塑形。

提出的方法

• LatCo使用基于变分自编码器的潜在动力学模型，将高维观测（图像）映射到低维马尔可夫潜在空间。
• 将轨迹优化表述为约束优化问题：在满足状态转移约束 $ s_{t+1} = f(s_t, a_t) $ 的前提下，最大化累积奖励。
• 该方法联合优化潜在状态和动作序列，采用基于梯度的优化方法，优于基于采样的射击方法。
• 支持确定性和概率性规划，其中高斯LatCo通过建模未来状态中的不确定性，提升在随机环境中的鲁棒性。
• 该方法兼容任意可微分动力学模型，可作为插件优化器集成至现有基于模型的强化学习流程中。
• 采用针对具体问题的高效优化器，降低计算成本，即使优化变量数量增加，也能实现实际部署。

实验结果

研究问题

• RQ1 在学习到的潜在空间中采用配点法轨迹优化，是否能在长时程视觉强化学习任务中优于基于动作的射击方法？
• RQ2 在稀疏奖励、长时程任务中，潜在状态空间中的规划如何改善信用分配与收敛性？
• RQ3 LatCo能否有效处理采样方法失效的随机环境中的不确定性？
• RQ4 使用概率性潜在状态表示是否能比基于均值的规划带来更优的期望奖励估计？
• RQ5 LatCo能否在无需奖励塑形或大量超参数调优的情况下，应用于复杂视觉操作任务？

主要发现

• LatCo在稀疏奖励的长时程工具使用与导航任务中，优于所有基线方法，包括CME和基于射击的方法。
• 在Lottery任务中，仅高斯LatCo通过考虑不确定性，正确规划了Top目标，而确定性方法与CME因存在乐观或悲观偏差而失败。
• LatCo展现出高样本效率与泛化能力，在相同训练预算下解决了以往视觉基于模型的强化学习方法无法学习的任务。
• 该方法在随机环境中表现出强鲁棒性，高斯LatCo在多个随机种子和任务变体中均实现稳定性能。
• LatCo降低了对奖励塑形与人工课程设计的依赖，实现了复杂时序扩展任务的端到端学习。
• 实证结果表明，LatCo的潜在空间优化相比图像空间配点法或动作空间射击法，收敛更快且最终性能更高。