[论文解读] Guided Data Augmentation for Offline Reinforcement Learning and Imitation Learning

Nicholas E. Corrado, Y. Qu+3 more|arXiv (Cornell University)|Oct 27, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

GuDA 是一种人类引导的数据增强框架，通过应用用户定义的规则筛选出有助于任务完成的轨迹片段，从而生成专家水平的演示数据。该方法在离线强化学习和模仿学习中显著优于随机数据增强，仅需少量次优演示即可实现有效的策略学习，甚至在物理机器人足球任务中超越了专家策略。

ABSTRACT

In offline reinforcement learning (RL), an RL agent learns to solve a task using only a fixed dataset of previously collected data. While offline RL has been successful in learning real-world robot control policies, it typically requires large amounts of expert-quality data to learn effective policies that generalize to out-of-distribution states. Unfortunately, such data is often difficult and expensive to acquire in real-world tasks. Several recent works have leveraged data augmentation (DA) to inexpensively generate additional data, but most DA works apply augmentations in a random fashion and ultimately produce highly suboptimal augmented experience. In this work, we propose Guided Data Augmentation (GuDA), a human-guided DA framework that generates expert-quality augmented data. The key insight behind GuDA is that while it may be difficult to demonstrate the sequence of actions required to produce expert data, a user can often easily characterize when an augmented trajectory segment represents progress toward task completion. Thus, a user can restrict the space of possible augmentations to automatically reject suboptimal augmented data. To extract a policy from GuDA, we use off-the-shelf offline reinforcement learning and behavior cloning algorithms. We evaluate GuDA on a physical robot soccer task as well as simulated D4RL navigation tasks, a simulated autonomous driving task, and a simulated soccer task. Empirically, GuDA enables learning given a small initial dataset of potentially suboptimal experience and outperforms a random DA strategy as well as a model-based DA strategy.

研究动机与目标

• 为解决在真实世界任务中获取高质量专家演示所面临的高昂成本与困难挑战。
• 通过生成多样化、接近专家水平的演示数据，无需额外真实世界交互，提升离线强化学习与模仿学习的性能。
• 通过允许从业者使用简单直观的任务进展规则引导数据增强，减少对最优专家演示的依赖。
• 在模拟环境与真实世界环境中（包括复杂的物理机器人任务）评估引导式数据增强的有效性。

提出的方法

• GuDA 使用一组用户定义的规则来筛选并生成代表任务完成有意义进展的轨迹片段，而非随机采样。
• 该框架对现有演示轨迹应用几何变换（如平移、旋转、反射）以生成新的、多样化的轨迹。
• 用户基于任务相关的动作行为（例如接近目标、正确朝向）指定规则，确保生成的数据近似专家行为。
• 该方法利用现成的离线强化学习与行为克隆算法，从增强数据集中训练策略。
• GuDA 应用于包括模拟导航、自动驾驶以及单个次优演示的物理机器人足球环境在内的多个任务。
• 通过成功率和完成时间等指标评估方法性能，将 GuDA 与随机数据增强及无增强方法进行对比。

实验结果

研究问题

• RQ1 用户引导的数据增强是否能在无需真实世界交互的情况下生成专家水平的演示数据？
• RQ2 在离线强化学习与模仿学习中，引导式数据增强与随机数据增强相比，其策略性能如何？
• RQ3 GuDA 是否能仅依靠少量甚至次优的专家演示实现有效的策略学习？
• RQ4 当在增强数据上训练时，GuDA 是否能在真实世界物理任务中超越原始演示者？

主要发现

• 在仅使用一个次优演示的物理机器人足球任务中，GuDA 在困难初始化条件下取得了 7/10 的成功率，而随机数据增强和无增强方法均为 0/10。
• 在容易初始化条件下，GuDA 取得了 8/10 的成功率，显著优于随机数据增强（4/10）和无增强方法（4/10），并达到专家策略的 9/10 成功率。
• 在容易初始化设置下，GuDA 训练的策略得分速度甚至快于专家策略，表明其具备更高的样本效率与策略质量。
• 在困难初始化条件下，仅 GuDA 策略能持续成功，而专家策略在几乎所有试验中均失败，表明 GuDA 可超越演示者。
• GuDA 生成的数据使策略泛化能力更强，且得分时间更短，如 IQM 指标与置信区间所示，优于随机数据增强。
• 结果证实，GuDA 通过生成高质量、聚焦于任务进展的增强数据，实现了从极少且次优演示中有效学习。