[论文解读] A Workflow for Offline Model-Free Robotic Reinforcement Learning

Aviral Kumar, Anikait Singh+3 more|arXiv (Cornell University)|Sep 22, 2021

Reinforcement Learning in Robotics参考文献 53被引用 6

一句话总结

本文提出了一种实用的、与模型无关的离线无模型强化学习工作流程，可在无需在线滚动（rollouts）的情况下实现有效的超参数与网络架构调优。通过跟踪数据集Q值和CQL正则化器指标来检测过拟合与欠拟合，该工作流程指导策略选择、正则化方式与网络架构决策——在基线方法完全失败的真实机器人操作任务中实现了70%的成功率。

ABSTRACT

Offline reinforcement learning (RL) enables learning control policies by utilizing only prior experience, without any online interaction. This can allow robots to acquire generalizable skills from large and diverse datasets, without any costly or unsafe online data collection. Despite recent algorithmic advances in offline RL, applying these methods to real-world problems has proven challenging. Although offline RL methods can learn from prior data, there is no clear and well-understood process for making various design choices, from model architecture to algorithm hyperparameters, without actually evaluating the learned policies online. In this paper, our aim is to develop a practical workflow for using offline RL analogous to the relatively well-understood workflows for supervised learning problems. To this end, we devise a set of metrics and conditions that can be tracked over the course of offline training, and can inform the practitioner about how the algorithm and model architecture should be adjusted to improve final performance. Our workflow is derived from a conceptual understanding of the behavior of conservative offline RL algorithms and cross-validation in supervised learning. We demonstrate the efficacy of this workflow in producing effective policies without any online tuning, both in several simulated robotic learning scenarios and for three tasks on two distinct real robots, focusing on learning manipulation skills with raw image observations with sparse binary rewards. Explanatory video and additional results can be found at sites.google.com/view/offline-rl-workflow

研究动机与目标

• 解决在真实机器人控制中缺乏系统性、离线的超参数与网络架构调优工作流程的问题。
• 使实践者能够在不依赖昂贵或不安全的在线环境交互的前提下，选择最优策略、正则化方法与模型架构。
• 提供一种可靠且可复现的协议，类似于监督学习中的训练/验证损失追踪，但针对保守型离线强化学习算法进行适配。
• 通过模拟与真实世界中的机器人操作任务（含图像观测与稀疏二元奖励）实证验证该工作流程的有效性。

提出的方法

• 提出一种工作流程，通过跟踪两个关键指标：数据集平均Q值（用于检测过拟合）与训练过程中的CQL正则化器（用于检测欠拟合）。
• 提出基于训练过程中平均数据集Q值峰值性能的策略选择准则。
• 采用容量递减型正则化方法（如Dropout、ℓ₁、ℓ₂）以缓解过拟合，其超参数通过Q值与CQL正则化器趋势进行离线调优。
• 系统性地在ρ（ℓ₁/ℓ₂）与p（Dropout）上进行超参数搜索，以找到能使Q值稳定且CQL正则化器保持足够负值（≤ -2）的参数组合。
• 将该工作流程应用于CQL与BRAC等保守型离线强化学习算法，并在仿真与真实世界机器人系统中进行验证。
• 使用离策略评估指标进行验证，并展示了Q值趋势与估计策略回报之间的一致性。

实验结果

研究问题

• RQ1 实践者如何在不进行在线环境滚动的情况下，可靠地调优离线强化学习的超参数与模型架构？
• RQ2 哪些指标能够有效检测离线强化学习训练中的过拟合与欠拟合，而无需依赖离策略评估？
• RQ3 能否将受监督学习中训练/验证损失范式启发的工作流程适配到离线强化学习中，用于机器人策略学习？
• RQ4 容量递减型正则化（如Dropout、ℓ₂）在离线机器人强化学习中对策略泛化性与稳定性有何影响？
• RQ5 该工作流程在具有图像观测与稀疏奖励的真实世界机器人操作任务中，能在多大程度上提升性能？

主要发现

• 所提出的工作流程在两个真实世界机器人操作任务（Sawyer机器人）中成功将策略成功率提升至70%，而基线CQL方法完全失败。
• 与未正则化的CQL相比，使用ℓ₂正则化（ρ = 0.01）与Dropout（p = 0.2）显著稳定了平均数据集Q值并缓解了过拟合。
• 平均数据集Q值指标与初始状态分布下的估计策略回报高度一致，验证了其在策略选择中的有效性。
• 所有测试的ρ值下，ℓ₁正则化均未能提升性能，因其无法在保持负CQL正则化器的同时稳定Q值。
• 该工作流程在无需任何在线调优的情况下，实现了有效的模型架构与超参数选择，展现出在多样化真实世界与仿真机器人任务中的鲁棒性。