[论文解读] Learning Actionable Representations with Goal-Conditioned Policies

Dibya Ghosh, Abhishek Gupta+1 more|arXiv (Cornell University)|Nov 19, 2018

Reinforcement Learning in Robotics参考文献 29被引用 7

一句话总结

本文提出动作可操作表征（Actionable Representations for Control, ARC），一种目标条件化的表征学习方法，仅捕捉与决策相关状态因素，而非观察中所有变化。通过训练目标条件化策略并基于不同目标间动作差异提取表征，ARC 学习到具有动态感知能力、功能性强的表征，在模拟机器人任务中，其在探索、层次强化学习及下游策略学习方面均优于生成式与预测性方法。

ABSTRACT

Representation learning is a central challenge across a range of machine learning areas. In reinforcement learning, effective and functional representations have the potential to tremendously accelerate learning progress and solve more challenging problems. Most prior work on representation learning has focused on generative approaches, learning representations that capture all underlying factors of variation in the observation space in a more disentangled or well-ordered manner. In this paper, we instead aim to learn functionally salient representations: representations that are not necessarily complete in terms of capturing all factors of variation in the observation space, but rather aim to capture those factors of variation that are important for decision making -- that are "actionable." These representations are aware of the dynamics of the environment, and capture only the elements of the observation that are necessary for decision making rather than all factors of variation, without explicit reconstruction of the observation. We show how these representations can be useful to improve exploration for sparse reward problems, to enable long horizon hierarchical reinforcement learning, and as a state representation for learning policies for downstream tasks. We evaluate our method on a number of simulated environments, and compare it to prior methods for representation learning, exploration, and hierarchical reinforcement learning.

研究动机与目标

• 解决学习对决策具有功能显著性的表征而非完整捕捉所有观察因素的挑战。
• 开发一种隐式编码环境动态的表征学习方法，无需显式重建或完整状态建模。
• 通过源自目标条件化策略的表征，实现更高效的探索、层次强化学习以及下游策略训练。
• 证明单一目标条件化策略学习到的表征可被重用于解决复杂、长时程任务。

提出的方法

• 该方法使用离策略强化学习训练目标条件化策略（GCP），以学习从任意初始状态到达任意目标状态的策略。
• 通过测量为达成不同目标状态而采取的动作之间的欧氏距离，提取可操作表征，构建一个距离反映功能差异的表征空间。
• 表征空间的构建方式使得需要不同动作的状态彼此远离，而需要相似动作的状态彼此接近，从而突出决策相关特征。
• 该方法基于动作差异设计对比学习目标，避免使用重建损失，专注于控制相关的动态特性。
• 通过在潜在空间中直接指定目标或使用表征空间的 k-means 聚类，将学习到的表征用于训练层次强化学习中的高层策略。
• 通过使用 ARC 训练更优的 GCP，实现递归改进，将表征学习成本在多个任务间分摊。

实验结果

研究问题

• RQ1 仅捕捉状态中与决策相关因素的表征，是否在下游强化学习任务中优于生成式或预测性表征？
• RQ2 源自目标条件化策略的表征如何提升稀疏奖励环境中的探索效率？
• RQ3 ARC 是否能通过提供结构化、具有动态感知能力的潜在空间，实现更高效的层次强化学习？
• RQ4 与最先进方法相比，使用 ARC 是否能实现更快速、更样本高效的复杂长时程任务学习？
• RQ5 同一张表征是否可被重用于多个下游任务，从而分摊表征学习成本？

主要发现

• ARC 在下游策略学习、探索以及层次强化学习任务中显著优于生成式与预测性表征学习方法。
• 在多房间导航与路径点任务中，基于 ARC 的层次策略性能优于 Option-Critic、HIRO 与 TRPO，后三者均未能取得进展。
• ARC 表征形成清晰且语义明确的聚类——例如将不同房间归为一类——从而支持有效的高层规划并减少动作空间冗余。
• 该方法通过允许高层策略在结构化潜在空间中运行，使语义上相似的状态彼此接近，从而提升搜索与探索效率，实现有效的层次控制。
• 基于 ARC 的表征通过重用单一预训练的目标条件化策略，显著加快复杂任务的学习速度，展现出表征学习的分摊优势。
• 即使使用相同数据，该方法仍优于基于模型的 MPC 及其他基线方法，凸显功能显著表征相较于通用状态表征的优势。