[论文解读] Discriminator-Weighted Offline Imitation Learning from Suboptimal Demonstrations

Haoran Xu, Xianyuan Zhan+2 more|arXiv (Cornell University)|Jul 20, 2022

Reinforcement Learning in Robotics被引用 9

一句话总结

本文提出判别器加权行为克隆（DWBC），一种轻量级离线模仿学习算法，通过联合训练行为克隆策略与判别器来区分专家数据与次优数据，从而提升在次优演示数据主导下的策略学习性能。判别器的输出用于加权BC损失，即使在次优数据占主导时也能实现鲁棒模仿，相比无需奖励学习或离线强化学习的基线方法，该方法获得更高的回报并实现更快的训练速度。

ABSTRACT

We study the problem of offline Imitation Learning (IL) where an agent aims to learn an optimal expert behavior policy without additional online environment interactions. Instead, the agent is provided with a supplementary offline dataset from suboptimal behaviors. Prior works that address this problem either require that expert data occupies the majority proportion of the offline dataset, or need to learn a reward function and perform offline reinforcement learning (RL) afterwards. In this paper, we aim to address the problem without additional steps of reward learning and offline RL training for the case when demonstrations contain a large proportion of suboptimal data. Built upon behavioral cloning (BC), we introduce an additional discriminator to distinguish expert and non-expert data. We propose a cooperation framework to boost the learning of both tasks, Based on this framework, we design a new IL algorithm, where the outputs of discriminator serve as the weights of the BC loss. Experimental results show that our proposed algorithm achieves higher returns and faster training speed compared to baseline algorithms.

研究动机与目标

• 解决在专家演示稀缺、次优数据主导数据集的离线模仿学习问题，且无需在线环境交互或专家标注。
• 通过引入可区分专家轨迹与非专家轨迹的判别器，提升行为克隆对噪声和次优演示的鲁棒性。
• 开发一种轻量级、高效的算法，避免昂贵的奖励学习和离线强化学习微调步骤。
• 利用训练好的判别器的置信度分数，作为副产品实现离线策略选择。
• 提供一种联合优化策略与判别器性能的合作框架。

提出的方法

• 引入判别器以分类专家轨迹与次优轨迹，并与行为克隆策略同步训练。
• 提出一种合作框架，联合优化策略与判别器，提升两项任务的性能。
• 在策略目标中应用最坏情况误差最小化，确保判别器训练期间的鲁棒性。
• 推导出所提出目标与广义BC损失之间的等价性，其中判别器的输出作为BC损失函数中的样本权重。
• 利用判别器的输出作为策略质量的代理指标，实现在无需环境交互的情况下进行离线策略选择。
• 通过避免内层强化学习循环或集成训练，保持计算效率，与先前方法不同。

实验结果

研究问题

• RQ1 在次优数据占多数的情况下，能否通过训练判别器来区分专家与次优演示，从而提升行为克隆的性能？
• RQ2 策略与判别器训练之间的合作框架是否能带来优于独立训练的性能提升？
• RQ3 判别器的输出能否用于对候选策略进行排序与选择，而无需在线评估？
• RQ4 与需要奖励学习或离线强化学习微调的现有离线IL方法相比，该方法是否更具样本效率且训练更快？
• RQ5 基于判别器的加权机制在不同环境和演示构成下是否具有良好的泛化能力？

主要发现

• 在Hopper、Walker2d和Pen等多个环境中，DWBC在次优数据主导的情况下，其回报显著高于BC、BCND、ORIL和DemoDICE。
• DWBC的训练速度显著快于ORIL和BCND，运行时间仅略高于标准BC，计算效率高。
• DWBC中的判别器可实现有效的离线策略选择：其输出值与真实策略回报高度相关，可在无需在线评估的情况下准确对候选策略进行排序。
• 在噪声数据比例较高的设置中，该方法优于DemoDICE，因为DemoDICE的KL正则化会变得过于保守。
• 所提出的合作框架使判别器更具鲁棒性，策略更具准确性，优于独立训练的模型。
• 所提出目标与加权BC损失之间的等价性为该方法的有效性提供了理论支持。