[论文解读] Imitation Learning from Imperfect Demonstration

Yueh-Hua Wu, Nontawat Charoenphakdee+3 more|arXiv (Cornell University)|Jan 27, 2019

Adversarial Robustness in Machine Learning参考文献 43被引用 16

一句话总结

本文提出了两种新颖的模仿学习方法——2IWIL 和 IC-GAIL，利用置信度分数来改进从不完美示范中学习策略。通过使用置信度对轨迹进行重加权，并利用未标注数据，两种方法均显著优于基线模型，其中 IC-GAIL 尽管收敛较慢，但表现出更优的性能，且在真实场景中对噪声置信度分数具有鲁棒性，尤其适用于最优示范数据获取成本高昂的场景。

ABSTRACT

Imitation learning (IL) aims to learn an optimal policy from demonstrations. However, such demonstrations are often imperfect since collecting optimal ones is costly. To effectively learn from imperfect demonstrations, we propose a novel approach that utilizes confidence scores, which describe the quality of demonstrations. More specifically, we propose two confidence-based IL methods, namely two-step importance weighting IL (2IWIL) and generative adversarial IL with imperfect demonstration and confidence (IC-GAIL). We show that confidence scores given only to a small portion of sub-optimal demonstrations significantly improve the performance of IL both theoretically and empirically.

研究动机与目标

• 为解决在真实应用中由于获取最优专家数据成本高昂，导致难以获得完美示范所带来的策略学习挑战。
• 开发一种实用的模仿学习框架，有效利用标注的置信度分数和未标注的示范，减少对完全最优轨迹的依赖。
• 通过将置信度作为示范质量的代理指标，提升模仿学习的泛化能力和鲁棒性，尤其在仅有一小部分示范被明确标注置信度的情况下。
• 验证基于置信度的重加权与混合分布建模方法，即使在标注数据有限的情况下，仍能优于标准 GAIL 和行为克隆方法。

提出的方法

• 2IWIL 使用经验风险最小化来预测未标注示范的置信度分数，然后基于估计的置信度对轨迹进行重要性加权，利用加权数据优化 GAIL 目标函数。
• 该方法构建了一个风险估计器，通过系数 β 将标注数据与未标注数据结合，以最小化方差，从而高效利用稀缺的置信度标注。
• IC-GAIL 将示范混合分布建模为最优与非最优分布的组合，对非最优成分进行重加权，同时通过对抗训练匹配最优状态占用度量。
• 它推导出一种基于 GAN 的目标函数，该函数依赖于混合分布中最优示范的比例，使判别器能够从带有置信度标注和未标注的轨迹中同时学习。
• 两种方法均设计为通用且可扩展，兼容现有的 IRL 和 IL 框架（如 GAIL），并可适配不同的损失函数、模型架构和优化器。
• 该框架假设仅少数示范具有置信度分数，使其在完全专家标注不可行的真实场景中更具实用性。

实验结果

研究问题

• RQ1 对于仅一小部分不完美示范具有置信度分数的情况，其性能是否显著优于假设所有示范均为最优的标准方法？
• RQ2 在结合未标注示范与置信度标注数据的情况下，对策略学习性能和样本效率有何影响？
• RQ3 在真实场景中，当人工标注者提供存在噪声或不准确的置信度分数时，所提方法是否仍具有鲁棒性？
• RQ4 在置信度数据有限的情况下，2IWIL 与 IC-GAIL 在训练速度与最终性能之间存在何种权衡？
• RQ5 在最优示范比例较低的情况下，IC-GAIL 中的混合分布建模是否仍能有效恢复最优策略？

主要发现

• IC-GAIL 在四个基准环境中的表现全面优于所有基线模型，包括标准 GAIL 和带重加权的 GAIL，尽管收敛较慢，但实现了更高的平均回报。
• 2IWIL 在收敛速度上表现优异，尤其在 Ant-v2 和 Walker2d-v2 等任务中，当置信度信息稀疏时仍能取得强劲性能。
• 即使使用相同数量的示范，所提方法也显著优于忽略置信度的 GAIL (U+C)，证实了置信度标注的价值。
• 2IWIL 和 IC-GAIL 均对置信度分数中的高斯噪声表现出鲁棒性，在标注者提供不一致或不准确估计时仍能保持高性能。
• 随着未标注示范数量的增加，性能持续提升，证实当置信度数据有限时，未标注数据能积极促进策略学习。
• 在 HalfCheetah-v2 环境中，标准 GAIL 的判别器易陷入局部最大值，而两种所提方法通过基于置信度的重加权有效缓解了该问题。