[论文解读] Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning

Riashat Islam, Hongyu Zang+7 more|arXiv (Cornell University)|Nov 1, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出离散目标表征学习（DGRL），一种通过向量量化学习目标条件强化学习中目标的离散、因子化表征的方法。通过在连续目标嵌入上施加离散化瓶颈，DGRL 提升了对分布外目标的泛化能力，并支持分层规划，在迷宫导航与机器人操作任务中实现了最先进性能，同时提升了样本效率与鲁棒性。

ABSTRACT

Goal-conditioned reinforcement learning (RL) is a promising direction for training agents that are capable of solving multiple tasks and reach a diverse set of objectives. How to extit{specify} and extit{ground} these goals in such a way that we can both reliably reach goals during training as well as generalize to new goals during evaluation remains an open area of research. Defining goals in the space of noisy and high-dimensional sensory inputs poses a challenge for training goal-conditioned agents, or even for generalization to novel goals. We propose to address this by learning factorial representations of goals and processing the resulting representation via a discretization bottleneck, for coarser goal specification, through an approach we call DGRL. We show that applying a discretizing bottleneck can improve performance in goal-conditioned RL setups, by experimentally evaluating this method on tasks ranging from maze environments to complex robotic navigation and manipulation. Additionally, we prove a theorem lower-bounding the expected return on out-of-distribution goals, while still allowing for specifying goals with expressive combinatorial structure.

研究动机与目标

• 解决在高维、噪声观测空间中对目标条件强化学习进行目标定位与指定的挑战。
• 通过学习目标的结构化离散表征，提升对分布外目标的泛化能力。
• 通过为高层策略提供语义上合理的离散子目标，实现分层强化学习。
• 证明离散化瓶颈可提升多样化目标条件强化学习环境中的性能与泛化能力。

提出的方法

• 该方法采用向量量化（VQ）模块，将连续目标嵌入离散化为可学习的离散标记代码本。
• 在目标表征上应用基于VQ的离散化瓶颈，将连续视觉或状态目标转换为离散、因子化编码。
• 将离散目标编码用作分层强化学习设置中的子目标，其中高层策略选择离散子目标，低层策略执行动作以达成目标。
• 将该方法集成至目标条件强化学习算法（RIS）中，离散化模块通过重构损失与承诺损失进行训练。
• 通过允许从学习到的离散编码组合形成新的目标组合，支持组合泛化。
• 框架通过标准强化学习目标与向量量化损失的组合实现端到端训练，以鼓励解耦的离散表征。

实验结果

研究问题

• RQ1 离散、因子化目标表征是否能提升目标条件强化学习中对分布外目标的泛化能力？
• RQ2 施加离散化瓶颈对复杂导航与操作任务中的样本效率与性能有何影响？
• RQ3 离散目标编码在分层强化学习中作为有效子目标的程度如何？
• RQ4 因子化表征的使用是否能实现对未见过的目标组合更好的零样本泛化？
• RQ5 在多样化目标分布下，DGRL 与基线方法相比在鲁棒性与泛化能力方面表现如何？

主要发现

• DGRL 在一系列目标条件强化学习基准测试中达到最先进性能，包括迷宫环境与机器人操作任务。
• 该方法在对分布外目标的泛化方面表现出显著改进，即使在测试时遇到训练期间未见的目标组合，仍观察到性能提升。
• 使用离散、因子化表征可实现更高效的样本学习，显著减少达到高成功率所需的交互次数。
• 理论分析表明，离散化瓶颈为分布外目标提供了期望回报的下界，支持泛化能力。
• 实证结果证实，通过向量量化学习到的离散编码具有语义意义且具备组合性，可有效支持分层规划。
• 该方法在多样化环境中保持高性能，包括基于像素的观测与复杂机器人模拟器，验证了其鲁棒性与可扩展性。