[论文解读] Adversarial Imitation Learning from Incomplete Demonstrations

Mingfei Sun, Xiaojuan Ma|arXiv (Cornell University)|May 29, 2019

Human Pose and Action Recognition参考文献 23被引用 6

一句话总结

该论文提出了一种新型算法——动作引导对抗模仿学习（AGAIL），通过将状态轨迹与动作轨迹分离，从包含不完整动作序列的示范中学习策略。AGAIL 使用生成器、判别器和引导网络，利用状态分布训练策略，同时将可用动作作为辅助奖励，即使在高达75%的动作缺失情况下，性能仍可与最先进方法相媲美。

ABSTRACT

Imitation learning targets deriving a mapping from states to actions, a.k.a. policy, from expert demonstrations. Existing methods for imitation learning typically require any actions in the demonstrations to be fully available, which is hard to ensure in real applications. Though algorithms for learning with unobservable actions have been proposed, they focus solely on state information and overlook the fact that the action sequence could still be partially available and provide useful information for policy deriving. In this paper, we propose a novel algorithm called Action-Guided Adversarial Imitation Learning (AGAIL) that learns a policy from demonstrations with incomplete action sequences, i.e., incomplete demonstrations. The core idea of AGAIL is to separate demonstrations into state and action trajectories, and train a policy with state trajectories while using actions as auxiliary information to guide the training whenever applicable. Built upon the Generative Adversarial Imitation Learning, AGAIL has three components: a generator, a discriminator, and a guide. The generator learns a policy with rewards provided by the discriminator, which tries to distinguish state distributions between demonstrations and samples generated by the policy. The guide provides additional rewards to the generator when demonstrated actions for specific states are available. We compare AGAIL to other methods on benchmark tasks and show that AGAIL consistently delivers comparable performance to the state-of-the-art methods even when the action sequence in demonstrations is only partially available.

研究动机与目标

• 解决现有模仿学习方法在示范中需要完整可观测动作序列的局限性。
• 开发一种有效利用示范中部分可用动作序列的方法，而非因不完整而丢弃。
• 在专家示范中动作信息缺失或不可靠时，仍保持高策略性能。
• 在不损害对抗模仿学习框架的前提下，将动作引导作为辅助奖励整合。
• 在基准环境中，通过实证验证在不同动作不完整程度下的鲁棒性。

提出的方法

• AGAIL 将示范分解为状态轨迹与动作轨迹，分别进行训练。
• 采用生成器通过策略梯度方法学习策略，奖励来自判别器。
• 判别器区分专家状态分布与生成状态分布，提供对抗性奖励。
• 引导网络最大化示范动作（当可用时）与策略生成动作之间的互信息，提供额外奖励信号。
• 仅在动作序列部分可用时训练引导网络，实现对示范完整性的动态适应。
• 该框架结合了对抗模仿学习与互信息最大化，以提升从不完整数据中学习策略的性能。

实验结果

研究问题

• RQ1 当专家示范包含缺失或不完整的动作序列时，模仿学习能否实现高性能？
• RQ2 与仅依赖状态轨迹相比，将部分动作信息作为辅助奖励对策略学习有何影响？
• RQ3 所提出的 AGAIL 框架在示范中动作不完整程度变化时是否保持鲁棒性？
• RQ4 在不完整示范上训练时，AGAIL 与 GAIL 和 TRPO 等最先进方法相比表现如何？
• RQ5 示范质量在不完整动作场景下对模仿学习算法性能有何影响？

主要发现

• 即使在示范中仅25%的动作可用时，AGAIL 在多个环境中仍能持续实现与 GAIL 和 TRPO 相当的性能。
• 在 Hopper 和 Walker2d 环境中，AGAIL 在75%动作不完整时的性能优于在完整示范上训练的 GAIL。
• 在 Humanoid 环境中，AGAIL.75 达到了最高回报，表明部分动作数据可能比完整但次优的示范更有效。
• 在 CartPole 和 Hopper 中，随着动作完整度提高（如 AGAIL.00、.25、.50），性能下降，表明即使使用更多动作，低质量示范仍会损害学习效果。
• 结果表明，示范质量——尤其是动作分布的稳定性——对学习影响显著，且 AGAIL 对次优或不完整数据具有鲁棒性。
• AGAIL 展现出对不完整比例增加的鲁棒性，在 Hopper 和 Humanoid 中，所有测试的不完整程度下，其回报均高于 GAIL。