[论文解读] Conservative Offline Distributional Reinforcement Learning

Yecheng Jason, Dinesh Jayaraman+1 more|arXiv (Cornell University)|Jul 12, 2021

Reinforcement Learning in Robotics参考文献 46被引用 5

一句话总结

CODAC 是一种保守的离线分布式强化学习算法，通过基于分位数的回报估计对分布外动作进行惩罚，从而提升安全性。它确保收敛到回报分位数的保守下界，并在 D4RL MuJoCo 基准测试中，在风险中性与风险规避设置下均达到最先进性能。

ABSTRACT

Many reinforcement learning (RL) problems in practice are offline, learning purely from observational data. A key challenge is how to ensure the learned policy is safe, which requires quantifying the risk associated with different actions. In the online setting, distributional RL algorithms do so by learning the distribution over returns (i.e., cumulative rewards) instead of the expected return; beyond quantifying risk, they have also been shown to learn better representations for planning. We propose Conservative Offline Distributional Actor Critic (CODAC), an offline RL algorithm suitable for both risk-neutral and risk-averse domains. CODAC adapts distributional RL to the offline setting by penalizing the predicted quantiles of the return for out-of-distribution actions. We prove that CODAC learns a conservative return distribution -- in particular, for finite MDPs, CODAC converges to an uniform lower bound on the quantiles of the return distribution; our proof relies on a novel analysis of the distributional Bellman operator. In our experiments, on two challenging robot navigation tasks, CODAC successfully learns risk-averse policies using offline data collected purely from risk-neutral agents. Furthermore, CODAC is state-of-the-art on the D4RL MuJoCo benchmark in terms of both expected and risk-sensitive performance.

研究动机与目标

• 为解决在离线强化学习中确保策略安全的问题，通过量化动作选择中的风险。
• 将此前在在线设置中有效的分布式强化学习方法，适配至离线、数据驱动的环境。
• 开发一种方法，学习回报分布的保守估计，最小化对高风险动作的回报高估。
• 证明在有限 MDP 中，所提算法可收敛至回报分位数的统一下界。
• 展示从仅由风险中性智能体收集的离线数据中，学习风险规避策略的有效性。

提出的方法

• CODAC 通过修改分布式 Bellman 算子，将分布式强化学习框架扩展至离线强化学习，以对分布外动作进行惩罚。
• 引入一种保守正则化项，对偏离行为策略分布的动作的回报分位数预测进行惩罚。
• 该算法学习分位数上的回报分布，通过分位数级别的估计实现风险敏感决策。
• CODAC 采用对分布式 Bellman 算子的新型分析，证明在有限 MDP 中可收敛至分位数的统一下界。
• 使用包含离线数据的回放缓冲区，并应用一种保守更新规则，限制行为策略密度较低的动作的价值估计。
• 该方法采用深度神经网络架构，配备独立的分位数预测头，通过分位数 Huber 损失进行训练。

实验结果

研究问题

• RQ1 分布式强化学习能否在确保保守、风险规避行为的前提下，有效适配至离线设置？
• RQ2 在回报分布中对分布外动作进行惩罚，是否能提升离线强化学习中策略学习的安全性与可靠性？
• RQ3 CODAC 能否实现可证明的保守回报估计，并在有限 MDP 中收敛至分位数的下界？
• RQ4 在期望回报与风险敏感指标方面，CODAC 相较于现有离线强化学习方法表现如何？
• RQ5 CODAC 能否从仅由风险中性智能体收集的离线数据中，学习到有效的风险规避策略？

主要发现

• CODAC 仅使用由风险中性智能体收集的离线数据，在两个具有挑战性的机器人导航任务中成功学习到风险规避策略。
• 通过针对分布式 Bellman 算子的新型分析，证明该算法在有限 MDP 中收敛至回报分布分位数的统一下界。
• CODAC 在 D4RL MuJoCo 基准测试中达到最先进性能，优于现有方法，在期望回报与风险敏感评估指标上均表现更优。
• 保守正则化有效防止了对分布外动作回报的高估，提升了策略安全性。
• 实验结果证实，CODAC 在多种离线强化学习环境中保持强大性能，展现出鲁棒性与泛化能力。
• 该方法表明，保守的分布式学习是实现安全离线强化学习的一种可行且有效策略。