[论文解读] C-Learning: Learning to Achieve Goals via Recursive Classification

Benjamin Eysenbach, Ruslan Salakhutdinov+1 more|arXiv (Cornell University)|May 3, 2021

Reinforcement Learning in Robotics参考文献 48被引用 9

一句话总结

C-Learning 提出了一种新颖的、目标条件化的强化学习方法，将未来状态预测建模为递归分类问题，利用贝叶斯法则将分类器输出转换为未来状态的概率密度估计。该方法实现了对策略未来状态分布的离策略预测，并优化了目标到达密度，性能与先前方法相当，同时为目标条件化强化学习提供了严谨的理论基础。

ABSTRACT

We study the problem of predicting and controlling the future state distribution of an autonomous agent. This problem, which can be viewed as a reframing of goal-conditioned reinforcement learning (RL), is centered around learning a conditional probability density function over future states. Instead of directly estimating this density function, we indirectly estimate this density function by training a classifier to predict whether an observation comes from the future. Via Bayes' rule, predictions from our classifier can be transformed into predictions over future states. Importantly, an off-policy variant of our algorithm allows us to predict the future state distribution of a new policy, without collecting new experience. This variant allows us to optimize functionals of a policy's future state distribution, such as the density of reaching a particular goal state. While conceptually similar to Q-learning, our work lays a principled foundation for goal-conditioned RL as density estimation, providing justification for goal-conditioned methods used in prior work. This foundation makes hypotheses about Q-learning, including the optimal goal-sampling ratio, which we confirm experimentally. Moreover, our proposed method is competitive with prior goal-conditioned RL methods.

研究动机与目标

• 为解决在目标条件化强化学习中预测和控制自主智能体未来状态分布的挑战。
• 通过将目标条件化强化学习重新表述为基于分类的密度估计，为其提供严谨的理论基础。
• 在不收集新经验的情况下，实现对策略未来状态分布的离策略预测。
• 优化未来状态分布的泛函，例如特定目标状态的到达密度。
• 对先前目标条件化方法中的超参数（如最优目标采样比例）进行解释与分析。

提出的方法

• 该方法训练一个二分类器，用于预测给定观测是否来自策略未来状态分布。
• 利用贝叶斯法则，将分类器输出转换为未来状态的概率密度估计，从而实现概率化预测。
• 该方法采用一种离策略变体，允许使用离线数据预测新策略的未来状态分布。
• 分类器通过递归训练，未来状态从回放缓冲区或轨迹中采样，实现迭代优化。
• 该方法优化未来状态分布的泛函，例如特定目标状态的到达可能性。
• 通过与Q-learning的联系，推导出关于最优目标采样策略的假设，并通过实验验证。

实验结果

研究问题

• RQ1 在目标条件化强化学习中，是否可以通过递归分类而非直接密度估计，有效建模未来状态分布？
• RQ2 所提出的离策略变体是否能在不依赖额外轨迹采样的情况下，准确预测新策略的未来状态分布？
• RQ3 基于分类器的方法是否能为现有目标条件化强化学习方法提供严谨的理论基础？
• RQ4 目标条件化强化学习中的最优目标采样比例是多少？其是否与C-Learning框架的理论预测一致？
• RQ5 在样本效率和目标到达准确率方面，C-Learning与先前目标条件化强化学习方法相比表现如何？

主要发现

• C-Learning 在基准环境上实现了与先前目标条件化强化学习方法相当的性能，展现出强劲的实证结果。
• 离策略变体成功实现了对新策略未来状态分布的预测，且无需收集新经验。
• 该方法通过将目标条件化强化学习建模为基于分类和贝叶斯法则的密度估计，为该领域提供了严谨的理论基础。
• 基于分类器框架的理论分析，解释了最优目标采样比例，实验结果与之相符。
• 经贝叶斯法则转换后的分类器预测，能生成对未来状态的准确密度估计，从而支持有效的目标条件化控制。
• 该方法支持对泛函（如特定目标状态的到达密度）的优化，有助于实现更精细的策略目标。