[论文解读] Reinforced Imitation in Heterogeneous Action Space

Konrad Żołna, Negar Rostamzadeh+3 more|arXiv (Cornell University)|Apr 6, 2019

Reinforcement Learning in Robotics参考文献 32被引用 5

一句话总结

本文提出了一种从观察中进行强化模仿学习（RILO）的方法，该方法将模仿学习与稀疏环境奖励相结合，以在缺乏专家动作且智能体动作空间与专家不同时训练智能体。通过动态平衡模仿与奖励目标，该智能体在性能上超越了专家示范，并且在异构动作空间中比标准的状态仅模仿学习更高效地学习。

ABSTRACT

Imitation learning is an effective alternative approach to learn a policy when the reward function is sparse. In this paper, we consider a challenging setting where an agent and an expert use different actions from each other. We assume that the agent has access to a sparse reward function and state-only expert observations. We propose a method which gradually balances between the imitation learning cost and the reinforcement learning objective. In addition, this method adapts the agent's policy based on either mimicking expert behavior or maximizing sparse reward. We show, through navigation scenarios, that (i) an agent is able to efficiently leverage sparse rewards to outperform standard state-only imitation learning, (ii) it can learn a policy even when its actions are different from the expert, and (iii) the performance of the agent is not bounded by that of the expert, due to the optimized usage of sparse rewards.

研究动机与目标

• 解决在缺乏专家动作且智能体动作空间与专家不一致时的模仿学习挑战。
• 在仅提供专家状态观测且奖励稀疏的环境中实现高效的策略学习。
• 使智能体能够动态在模仿专家行为与最大化稀疏环境奖励之间切换。
• 通过最优利用稀疏奖励实现超越专家的性能，即使智能体的动作与专家不完全相同。

提出的方法

• 扩展 GAIL 以仅使用专家的状态观测运行，从而消除对专家动作标签的需求。
• 引入一种自探索机制，可随时间自动平衡模仿损失与强化学习损失。
• 使用判别器来区分专家状态轨迹与智能体生成的轨迹，仅依赖状态观测。
• 应用多种模仿奖励形式（CSD、SSD、ATD、RTGD）以评估不同奖励设计策略下的鲁棒性与性能。
• 在完全可观测与部分可观测的网格世界以及 3D 像素化环境（ViZDoom）中训练智能体，当需要记忆时使用循环策略。
• 在训练过程中逐步减少对模仿损失的依赖，使智能体能够从模仿过渡到奖励最大化行为。

实验结果

研究问题

• RQ1 当仅能获得专家的状态观测且动作空间不同时，智能体是否能学习到更优策略？
• RQ2 在缺乏专家动作标签的情况下，如何有效结合模仿学习与稀疏环境奖励？
• RQ3 与静态模仿或纯强化学习相比，模仿与强化学习目标之间的动态平衡是否能带来更好的性能？
• RQ4 即使智能体的动作空间与专家不同，智能体是否仍能通过利用稀疏奖励超越专家策略？
• RQ5 该方法在不同动作空间配置与环境（完全可观测 vs. 部分可观测、像素化）之间是否具有泛化能力？

主要发现

• 通过利用稀疏环境奖励，智能体在收敛速度和最终性能上均优于标准的状态仅模仿学习。
• 在 ViZDoom 3D 环境中，当动作空间显著不同时，自探索智能体将到达目标的平均步数减少了高达 50%，相比非自探索智能体。
• 对于动作空间与专家相同的智能体（单动作），自探索使步数减少 10%；对于能力更强的智能体（多动作），改进幅度达到 20%。
• 当动作空间不同时，自探索智能体与非自探索智能体之间的性能差距最大，表明该方法在异构设置下尤为有效。
• 当提供大量专家数据时，仅状态模仿学习即可达到自探索智能体的性能，证实自探索在专家数据有限时最具优势。
• 该方法在不同模仿奖励形式（CSD、SSD、ATD、RTGD）下均表现出鲁棒性，且无论采用何种具体奖励设计，性能均持续提升。