[论文解读] AW-Opt: Learning Robotic Skills with Imitation and Reinforcement at Scale

Yao Lu, Karol Hausman+9 more|arXiv (Cornell University)|Nov 9, 2021

Robot Manipulation and Learning被引用 10

一句话总结

AW-Opt 是一种可扩展的演员-评论家强化学习算法，通过结合优势加权回归与 QT-Opt 原理，统一了模仿学习与离线强化学习。它能够从多样化离线数据（包括示范数据与次优经验）中实现高效且稳定的训练，在模拟与真实世界机器人操作任务中均表现出色，相较于先前方法如 QT-Opt 和 AWAC，在样本效率与最终成功率方面表现更优。

ABSTRACT

Robotic skills can be learned via imitation learning (IL) using user-provided demonstrations, or via reinforcement learning (RL) using large amountsof autonomously collected experience.Both methods have complementarystrengths and weaknesses: RL can reach a high level of performance, but requiresexploration, which can be very time consuming and unsafe; IL does not requireexploration, but only learns skills that are as good as the provided demonstrations.Can a single method combine the strengths of both approaches? A number ofprior methods have aimed to address this question, proposing a variety of tech-niques that integrate elements of IL and RL. However, scaling up such methodsto complex robotic skills that integrate diverse offline data and generalize mean-ingfully to real-world scenarios still presents a major challenge. In this paper, ouraim is to test the scalability of prior IL + RL algorithms and devise a system basedon detailed empirical experimentation that combines existing components in themost effective and scalable way. To that end, we present a series of experimentsaimed at understanding the implications of each design decision, so as to develop acombined approach that can utilize demonstrations and heterogeneous prior datato attain the best performance on a range of real-world and realistic simulatedrobotic problems. Our complete method, which we call AW-Opt, combines ele-ments of advantage-weighted regression [1, 2] and QT-Opt [3], providing a unifiedapproach for integrating demonstrations and offline data for robotic manipulation.Please see https://awopt.github.io for more details.

研究动机与目标

• 开发一种可扩展的统一方法，有效结合模仿学习与强化学习，用于机器人控制。
• 解决现有 IL+RL 方法在处理异构离线数据及扩展至复杂真实世界任务时的局限性。
• 识别并整合先前算法（如 AWAC 与 QT-Opt）中的关键设计决策，以提升性能与稳定性。
• 在多样化的模拟与真实世界机器人操作任务中评估该方法，涵盖不同数据来源与任务难度。
• 证明混合方法能够有效利用示范数据与次优离线数据，同时支持有效的在线微调。

提出的方法

• AW-Opt 将优势加权回归（AWR）与基于 Q 值的离线策略强化学习框架（QT-Opt）相结合，统一了离线模仿学习与在线强化学习。
• 采用结合行为克隆与 Q 学习目标的混合损失函数，支持从示范数据与离线经验中实现稳定策略更新。
• 该方法采用双阶段训练流程：首先使用示范数据与次优数据进行离线预训练，随后通过在线策略回放进行微调。
• 在离线数据中同时引入正样本与负样本轨迹，相比忽略负样本的方法，显著提升了模型鲁棒性。
• 在在线微调阶段，采用目标 Q 网络与经验回放机制，类似 DQN 与 TD3，以稳定训练过程。
• 在真实世界任务中，针对稀疏的二元奖励，应用基于阈值的正样本过滤机制。

实验结果

研究问题

• RQ1 是否能够通过统一算法有效结合模仿学习与强化学习，以扩展至复杂的机器人操作任务？
• RQ2 IL+RL 算法中的各项设计选择如何影响真实世界与模拟环境中性能与可扩展性？
• RQ3 能否有效利用包含正样本与负样本轨迹的离线数据，以提升在线强化学习的初始性能？
• RQ4 将 AWR 风格的行为克隆与 QT-Opt 风格的基于值函数的强化学习相结合，是否能带来优于先前方法的样本效率与最终性能？
• RQ5 在仅使用离线数据训练的模型，能在多大程度上泛化至真实世界机器人部署，而无需大量在线微调？

主要发现

• 在任务 3（真实世界无差别抓取）中，AW-Opt 仅使用正向示范数据即达到 52.53% 的成功率，优于 AWAC（44.21%）与 QT-Opt（0%）。
• 在任务 5（真实世界实例抓取）中，AW-Opt 经过在线微调后达到 48.89% 的成功率，而 QT-Opt 与 AWAC 均失败（0%）。
• 在模拟环境中，AW-Opt 在在线微调阶段优于 QT-Opt 与 AWAC，不仅最终成功率更高，收敛速度也更快，尤其在任务 5 等高难度任务中表现显著。
• AW-Opt 有效利用了正负双类离线数据，而 AWAC 在引入负样本时失败，QT-Opt 则无法从仅含正样本的数据中学习。
• 该方法在真实世界部署中展现出强大的泛化能力，在两台不同的真实机器人平台上及多个任务变体中均保持高性能表现。
• 消融实验表明，AW-Opt 的每一项组件——尤其是 AWR 与 QT-Opt 模块的整合——均对性能提升有显著贡献。