[论文解读] Goal-Conditioned Reinforcement Learning: Problems and Solutions

Minghuan Liu, Menghui Zhu+1 more|arXiv (Cornell University)|Jan 20, 2022

Reinforcement Learning in Robotics被引用 15

一句话总结

本综述对目标条件强化学习（GCRL）进行了全面分析，通过目标表征、重标注技术与策略优化，解决了稀疏奖励与样本效率等挑战。其提出了关键解决方案，如事后经验回放（HER）、基于生成模型的目标重标注，以及基于预见性的重标注，使智能体能够以更高的样本效率和泛化能力，学习适用于多样化目标的通用策略。

ABSTRACT

Goal-conditioned reinforcement learning (GCRL), related to a set of complex RL problems, trains an agent to achieve different goals under particular scenarios. Compared to the standard RL solutions that learn a policy solely depending on the states or observations, GCRL additionally requires the agent to make decisions according to different goals. In this survey, we provide a comprehensive overview of the challenges and algorithms for GCRL. Firstly, we answer what the basic problems are studied in this field. Then, we explain how goals are represented and present how existing solutions are designed from different points of view. Finally, we make the conclusion and discuss potential future prospects that recent researches focus on.

研究动机与目标

• 系统分析目标条件强化学习（GCRL）中的核心挑战，包括多目标学习中的稀疏奖励与样本效率低下问题。
• 对不同目标表征方法（如状态空间目标、语言、奖励、指令及内在技能）进行分类与比较，涵盖任务规范的各个方面。
• 基于学习阶段对现有GCRL解决方案进行探究与分类：优化阶段、子目标生成阶段与目标重标注阶段。
• 识别并讨论新兴研究方向，包括内在技能学习、离线强化学习，以及大规模预训练决策模型，以实现跨任务的泛化能力。
• 提供经筛选的算法与基准环境集合，以支持GCRL的可复现性与未来研究。

提出的方法

• 将GCRL形式化为带目标的马尔可夫决策过程（GA-MDP），在标准MDP基础上引入目标空间𝒢与目标映射ϕ: 𝒮 → 𝒢，以支持目标条件决策。
• 提出事后经验回放（HER）作为核心技术：通过重标注示范轨迹中实际达成的目标，生成额外的训练信号，从而提升样本效率。
• 提出基于学习的重标注策略，如使用条件生成RNN实现多样化、高回报目标的生成，超越历史数据分布。
• 引入基于预见性的重标注方法，利用学习到的动力学模型生成虚拟轨迹并规划新的、可实现的目标，从而降低重标注中的分布偏差。
• 采用带目标增强的价值网络与策略网络（如Q(s,a,g)或π(s,g)），在推理阶段实现跨目标的泛化能力。
• 将解决方案划分为三个阶段：优化阶段（策略/价值函数设计）、子目标生成阶段（课程学习）与重标注阶段（数据效率增强）。

实验结果

研究问题

• RQ1 如何形式化目标条件强化学习，以支持单个策略学习多种目标？
• RQ2 GCRL中的关键挑战是什么，特别是稀疏奖励、样本效率以及在多样化目标间泛化的问题？
• RQ3 不同目标表征方式（如状态空间目标、语言或内在奖励）如何影响学习性能与泛化能力？
• RQ4 在GCRL中，哪些重标注策略最有效以提升数据效率？它们在实践中如何比较？
• RQ5 未来方向如离线学习或预训练决策模型，哪些最具潜力以实现可扩展且泛化的GCRL系统？

主要发现

• 事后经验回放（HER）通过重标注轨迹中实际达成的目标，显著提升了样本效率，将失败轨迹转化为有用的训练数据。
• 基于学习的目标重标注（使用条件生成RNN）可生成超越历史数据分布的多样化、高回报目标，从而增强策略的泛化能力。
• 基于预见性的重标注（利用动力学模型）可生成虚拟轨迹与新颖、可实现的目标，相比静态重标注，能有效降低偏差并提升鲁棒性。
• 采用这些技术训练的目标条件策略可在未见目标上实现泛化，并在稀疏奖励环境中取得高成功率。
• 将GCRL与离线强化学习结合，可实现从静态数据集进行训练，降低在线交互成本，并支持在真实世界应用中的部署。
• 未来前景如内在技能学习与大规模预训练决策模型，展现出强大潜力，可使智能体自主发现并掌握广泛的任务。