[论文解读] Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning

Jianlan Luo, Perry Dong+4 more|arXiv (Cornell University)|Oct 18, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出状态条件动作量化（SAQ），一种基于VQ-VAE的方法，通过在离线强化学习中对连续动作空间进行离散化，实现策略约束和保守性正则项的精确计算。SAQ在Robomimic中的长时程机器人操作任务上将性能提升了2–3倍，优于连续动作的基线方法以及先前的离线强化学习方法，在专家演示数据集较窄的情况下表现更优。

ABSTRACT

The offline reinforcement learning (RL) paradigm provides a general recipe to convert static behavior datasets into policies that can perform better than the policy that collected the data. While policy constraints, conservatism, and other methods for mitigating distributional shifts have made offline reinforcement learning more effective, the continuous action setting often necessitates various approximations for applying these techniques. Many of these challenges are greatly alleviated in discrete action settings, where offline RL constraints and regularizers can often be computed more precisely or even exactly. In this paper, we propose an adaptive scheme for action quantization. We use a VQ-VAE to learn state-conditioned action quantization, avoiding the exponential blowup that comes with naïve discretization of the action space. We show that several state-of-the-art offline RL methods such as IQL, CQL, and BRAC improve in performance on benchmarks when combined with our proposed discretization scheme. We further validate our approach on a set of challenging long-horizon complex robotic manipulation tasks in the Robomimic environment, where our discretized offline RL algorithms are able to improve upon their continuous counterparts by 2-3x. Our project page is at https://saqrl.github.io/

研究动机与目标

• 通过实现策略约束和保守性正则项的精确计算，解决连续动作离线强化学习中的分布偏移和过估计问题。
• 在避免朴素动作离散化带来的指数级复杂度的同时，通过自适应、状态相关的量化方法保持精度。
• 提升在机器人学习中常见的狭窄专家演示数据集上的样本效率和性能表现。
• 通过用精确的离散动作计算替代连续动作近似，简化并稳定离线强化学习训练过程。
• 在连续离线强化学习失败的挑战性长时程机器人操作任务上验证该方法的有效性。

提出的方法

• 使用VQ-VAE学习一个状态条件的码书，将状态映射到离散动作嵌入，实现自适应动作量化。
• 以状态相关的方式执行动作离散化，仅学习与每个状态相关的最分布内动作基元。
• 将离散化动作空间应用于三种最先进的离线强化学习算法：IQL、CQL和BRAC，实现策略约束和保守价值函数的精确计算。
• 在行为演示数据上训练VQ-VAE，以学习紧凑且与任务相关的动作码书，避免指数级膨胀。
• 使用学习到的码书替换强化学习算法中的连续动作，实现无近似误差的精确且稳定的训练。
• 采用两阶段训练流程：先在演示数据上预训练VQ-VAE，再使用离散动作空间微调强化学习策略。

Figure 1: Left : Training SAQ. Right : Discrete policy training/evaluation with SAQ. SAQ learns a scalar discrete representation of continuous actions using state-conditioned VQ-VAE. During policy training and evaluation time, we use the decoder of SAQ to reconstruct the continuous actions from the

实验结果

研究问题

• RQ1 状态条件动作量化是否能提升离线强化学习算法在狭窄专家演示数据集上的性能？
• RQ2 离散动作空间是否能实现保守性和策略约束的精确计算，从而减少离线强化学习中的近似误差？
• RQ3 SAQ在长时程机器人操作任务中与连续动作离线强化学习相比表现如何？
• RQ4 SAQ能否使离线强化学习在Robomimic等具有挑战性的机器人环境中超越模仿学习基线？
• RQ5 自适应、状态相关的离散化对样本效率和训练稳定性有何影响？

主要发现

• 与连续动作离线强化学习方法相比，SAQ在Robomimic环境中的长时程机器人操作任务上性能提升了2–3倍。
• 在Robomimic Proficient Human数据集上，SAQ-IQL在抓取任务中达到90.8%的成功率，显著优于连续IQL基线的58%。
• SAQ-CQL在抓取任务中达到92.7%的成功率，远超连续CQL的64.2%结果。
• 在运输任务中，SAQ-BC达到66.4%的成功率，优于连续BC基线的31.73%。
• 在所有Robomimic任务上的平均成功率从SAQ-BC的41.71%提升至原始Robomimic BC基线的64.12%，表明SAQ具有强大的泛化能力。
• 该方法实现了保守性和策略约束的精确实施，消除了连续动作设置中常见的近似误差。

Figure 2: Left : visualization of the maze2d environment. Middle : the average return of SAQ-CQL and continuous CQL over the course of offline training. Right : estimated and exact CQL conservatism penalty values. The estimated conservative penalty for continuous-action CQL diverges significantly fr