[论文解读] Imitation Learning by Estimating Expertise of Demonstrators

Mark Beliaev, Andy Y. Shih+3 more|arXiv (Cornell University)|Feb 2, 2022

Reinforcement Learning in Robotics被引用 8

一句话总结

该论文提出 ILEED，一种新颖的模仿学习框架，通过从离线演示中联合学习策略并估计多个示范者的状态相关专家水平，实现对示范者次优性的无监督建模。通过无监督专家水平估计建模示范者次优性，ILEED 在 23 个环境中的 21 个中表现优于基线方法，甚至超越了表现最佳的单一示范者，在最终奖励上最高提升达 60%，平均提升 7%。

ABSTRACT

Many existing imitation learning datasets are collected from multiple demonstrators, each with different expertise at different parts of the environment. Yet, standard imitation learning algorithms typically treat all demonstrators as homogeneous, regardless of their expertise, absorbing the weaknesses of any suboptimal demonstrators. In this work, we show that unsupervised learning over demonstrator expertise can lead to a consistent boost in the performance of imitation learning algorithms. We develop and optimize a joint model over a learned policy and expertise levels of the demonstrators. This enables our model to learn from the optimal behavior and filter out the suboptimal behavior of each demonstrator. Our model learns a single policy that can outperform even the best demonstrator, and can be used to estimate the expertise of any demonstrator at any state. We illustrate our findings on real-robotic continuous control tasks from Robomimic and discrete environments such as MiniGrid and chess, out-performing competing methods in $21$ out of $23$ settings, with an average of $7\%$ and up to $60\%$ improvement in terms of the final reward.

研究动机与目标

• 解决标准模仿学习算法将所有示范者视为同质化的问题，而忽略其实际专家水平差异。
• 通过利用示范者身份信息区分数据集中最优与次优行为，提升模仿学习性能。
• 开发一种联合模型，无需事先知晓真实技能水平，即可同时学习策略并估计示范者的状态相关专家水平。
• 使学习到的策略能够通过过滤次优行为并整合不同示范者的专家水平，超越表现最佳的示范者。

提出的方法

• 该方法引入一种联合概率模型，参数化策略、状态嵌入、示范者嵌入以及状态相关的专家水平。
• 专家水平 ρ 被建模为状态嵌入与示范者嵌入的函数，从而实现对示范者质量的特定状态评估。
• 该框架使用最大似然估计联合优化策略与专家水平参数，通过迭代优化同时提升两者性能。
• 采用神经网络学习状态与示范者的表示，实现对多样化环境与任务的泛化能力。
• 模型通过离线演示端到端训练，无需奖励信号，仅依赖状态-动作对与示范者身份信息。
• 该方法包含一个自监督组件，其中改进的策略估计可优化状态与示范者嵌入，从而进一步提升专家水平估计性能。

实验结果

研究问题

• RQ1 无监督估计示范者专家水平是否能提升在异质示范者数据集中的模仿学习性能？
• RQ2 能否通过联合学习策略与专家水平的模型，超越标准行为克隆及其他模仿学习基线方法？
• RQ3 当使用来自多个示范者的混合质量演示进行训练时，该模型在多大程度上能恢复最优策略？
• RQ4 当示范者次优性水平变化时，尤其在最佳示范者于某些状态下表现次优时，该模型的性能如何变化？

主要发现

• ILEED 在 23 个测试环境中的 21 个中优于所有基线方法，展示了在多样化任务中的一致性能提升。
• 与标准模仿学习相比，该方法在最终奖励上实现了平均 7% 的提升，最复杂场景中最高提升达 60%。
• 在一个包含三位示范者的多技能环境中，当次优性较高（β < 0.5）时，ILEED 学习到的策略表现甚至超越了最佳示范者。
• 当 β = 1.0（所有演示均为最优）时，ILEED 达到了最佳示范者 89% 的性能，显示出强大的泛化能力与鲁棒性。
• 消融实验证实，状态嵌入与示范者身份均对 ILEED 的性能至关重要，每个组件对最终结果均有显著贡献。
• 该模型成功以高精度估计了真实专家水平，验证了其从数据中恢复有意义次优性模式的能力。