[论文解读] How to Leverage Unlabeled Data in Offline Reinforcement Learning

Tianhe Yu, Aviral Kumar+4 more|arXiv (Cornell University)|Feb 3, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

该论文提出了一种简单但有效的方法——无标签数据共享（UDS），在离线强化学习中为无标签转移分配零奖励，显著提升了样本效率和性能，且无需训练奖励模型。令人惊讶的是，该方法在机器人运动、导航和操作任务中，优于复杂的奖励学习基线方法，尤其在结合重加权以缓解分布偏移和奖励偏差时表现更佳。

ABSTRACT

Offline reinforcement learning (RL) can learn control policies from static datasets but, like standard RL methods, it requires reward annotations for every transition. In many cases, labeling large datasets with rewards may be costly, especially if those rewards must be provided by human labelers, while collecting diverse unlabeled data might be comparatively inexpensive. How can we best leverage such unlabeled data in offline RL? One natural solution is to learn a reward function from the labeled data and use it to label the unlabeled data. In this paper, we find that, perhaps surprisingly, a much simpler method that simply applies zero rewards to unlabeled data leads to effective data sharing both in theory and in practice, without learning any reward model at all. While this approach might seem strange (and incorrect) at first, we provide extensive theoretical and empirical analysis that illustrates how it trades off reward bias, sample complexity and distributional shift, often leading to good results. We characterize conditions under which this simple strategy is effective, and further show that extending it with a simple reweighting approach can further alleviate the bias introduced by using incorrect reward labels. Our empirical evaluation confirms these findings in simulated robotic locomotion, navigation, and manipulation settings.

研究动机与目标

• 解决在离线强化学习中利用大量廉价无标签离线数据的挑战，当获取具有任务特定奖励的标注数据成本高昂且稀缺时。
• 探究是否简单的奖励重标注策略——特别是为无标签数据分配零奖励——在不学习奖励模型的情况下也能有效。
• 分析零奖励重标注成功或失败的条件，并通过分布重加权缓解由此产生的奖励偏差。
• 将 UDS 的性能与使用学习奖励模型或复杂数据共享策略的最先进方法在多种离线强化学习环境中进行比较。

提出的方法

• 为所有无标签转移分配恒定的零奖励，将其视为离线数据集中非奖励性经验。
• 采用保守数据共享（CDS）重加权方法调整无标签转移的分布影响，以减少分布偏移。
• 使用一种重加权方案，降低与标注数据分布相距较远的无标签转移的权重，从而提升策略泛化能力。
• 在包含真实奖励的标注转移和零奖励的无标签转移的组合数据集上应用标准离线强化学习算法（如 SAC、TD3）。
• 利用现有的离线强化学习框架训练策略，无需修改底层算法，实现即插即用的集成。
• 在多个环境（包括 AntMaze、Meta-World 和基于视觉的机器人操作任务）中实证验证该方法。

实验结果

研究问题

• RQ1 在离线强化学习中为无标签数据分配零奖励，是否能比学习奖励模型进行重标注获得更好的性能？
• RQ2 零奖励重标注在何种条件下会失败，哪些因素导致其成功或失败？
• RQ3 通过重加权无标签转移能否缓解由错误零奖励引入的偏差并改善泛化能力？
• RQ4 在多任务和单任务离线强化学习设置中，UDS 与最先进数据共享和奖励学习方法相比表现如何？

主要发现

• UDS 通过为无标签数据分配零奖励，在模拟机器人运动和操作任务中，性能优于或媲美复杂的奖励学习基线方法。
• 该方法显著减少了对昂贵人工标注奖励的依赖，同时在离线强化学习中保持或提升了样本效率。
• 使用保守数据共享（CDS）对无标签转移进行重加权，能显著提升性能，有效减少分布偏移和奖励偏差。
• 实证结果表明，UDS 在 AntMaze 导航和 Meta-World 多任务环境中优于现有方法，即使在监督极少的情况下也表现优异。
• 该方法在多种领域中表现出鲁棒性，包括基于视觉的机器人操作和连续控制任务，展现出广泛适用性。
• 理论分析证实，在特定条件下，UDS 以有利的方式权衡了奖励偏差、样本复杂度和分布偏移。