[论文解读] C-Planning: An Automatic Curriculum for Learning Goal-Reaching Tasks

Tianjun Zhang, Benjamin Eysenbach+3 more|arXiv (Cornell University)|Oct 22, 2021

Reinforcement Learning in Robotics参考文献 38被引用 4

一句话总结

C-Planning 通过在训练过程中使用图搜索生成中间目标点，提出了一种用于目标达成任务的自动课程学习方法，提升了样本效率，并实现了无需推理时规划的长时程导航与操作任务学习。该方法通过期望最大化算法将搜索整合到策略训练中，实现了当前最优性能，优于依赖推理时搜索或人工设计课程的先前方法。

ABSTRACT

Goal-conditioned reinforcement learning (RL) can solve tasks in a wide range of domains, including navigation and manipulation, but learning to reach distant goals remains a central challenge to the field. Learning to reach such goals is particularly hard without any offline data, expert demonstrations, and reward shaping. In this paper, we propose an algorithm to solve the distant goal-reaching task by using search at training time to automatically generate a curriculum of intermediate states. Our algorithm, Classifier-Planning (C-Planning), frames the learning of the goal-conditioned policies as expectation maximization: the E-step corresponds to planning an optimal sequence of waypoints using graph search, while the M-step aims to learn a goal-conditioned policy to reach those waypoints. Unlike prior methods that combine goal-conditioned RL with graph search, ours performs search only during training and not testing, significantly decreasing the compute costs of deploying the learned policy. Empirically, we demonstrate that our method is more sample efficient than prior methods. Moreover, it is able to solve very long horizons manipulation and navigation tasks, tasks that prior goal-conditioned methods and methods based on graph search fail to solve.

研究动机与目标

• 为解决在无专家示范或奖励塑形的情况下，学习在目标条件强化学习中达成远距离目标的挑战。
• 提升多目标操作与复杂导航等长时程控制任务中的样本效率。
• 通过将搜索嵌入训练过程，消除对推理时规划的需求。
• 自动生成改善策略数据质量的中间目标点课程。
• 通过避免在线规划，实现推理延迟极低的策略部署。

提出的方法

• C-Planning 将目标条件强化学习建模为期望最大化（EM）过程，其中 E 步骤使用图搜索为达成远距离目标规划最优目标点序列。
• M 步骤训练一个目标条件策略以到达这些目标点，从而提升数据质量与策略泛化能力。
• 目标点从一个分布中采样，该分布收敛于由理论预测的最优策略所访问的状态。
• 该方法使用变分推断推导目标达成概率的下界，从而实现自动课程生成。
• 可无缝集成到现有的目标条件强化学习算法中，无需架构修改。
• 推理时直接使用最终目标，无需中间目标点，从而消除规划开销。

实验结果

研究问题

• RQ1 能否在训练过程中使用搜索，自动生成改善长时程任务样本效率的中间目标点课程？
• RQ2 将搜索嵌入训练过程是否在样本效率与部署延迟方面优于推理时规划方法？
• RQ3 能否在无需人工设计的距离函数或专家示范的情况下，通过变分推断自动生成课程？
• RQ4 目标点的分布如何在训练过程中演化？是否与最优策略的状态访问轨迹一致？
• RQ5 C-Planning 是否能解决先前目标条件强化学习方法无法学习的复杂高维操作任务？

主要发现

• C-Planning 在 2D 导航与 18D 机器人操作任务上达到当前最优性能，解决了先前方法无法学习的任务。
• 与基线目标条件强化学习算法相比，该方法提升了样本效率，训练曲线显示收敛速度更快。
• 在 Push-Wall 环境中，C-Planning 比 SoRB 快 1.74 倍（使用 4 个目标点）与 4.71 倍（使用 16 个目标点），证明了其低部署延迟。
• 梯度分析表明，C-Planning 增强了评论家梯度范数，并降低了演员梯度的方差，表明学习信号更优。
• 目标点采样分布从均匀分布演化为与最优策略状态轨迹对齐，验证了理论预测。
• 该方法对超参数选择（如目标点数量）具有鲁棒性，在不同设置下均保持强性能。