[论文解读] Self-Imitation Learning via Trajectory-Conditioned Policy for Hard-Exploration Tasks

Yijie Guo, Jongwook Choi+4 more|arXiv (Cornell University)|Sep 25, 2019

Reinforcement Learning in Robotics参考文献 65被引用 13

一句话总结

本文提出了一种轨迹条件化的策略用于自我模仿学习，使智能体能够模仿多样化的过去轨迹，在无需专家演示的情况下提升在困难探索任务中的探索能力。通过从多种成功行为中学习，而非仅聚焦于孤立的高回报轨迹，该方法避免了短视行为，并在《蒙特祖马的复仇》游戏中取得了超过20,000分的新SOTA成绩。

ABSTRACT

Imitation learning from human-expert demonstrations has been shown to be greatly helpful for challenging reinforcement learning problems with sparse environment rewards. However, it is very difficult to achieve similar success without relying on expert demonstrations. Recent works on self-imitation learning showed that imitating the agent's own past good experience could indirectly drive exploration in some environments, but these methods often lead to sub-optimal and myopic behavior. To address this issue, we argue that exploration in diverse directions by imitating diverse trajectories, instead of focusing on limited good trajectories, is more desirable for the hard-exploration tasks. We propose a new method of learning a trajectory-conditioned policy to imitate diverse trajectories from the agent's own past experience and show that such self-imitation helps avoid myopic behavior and increases the chance of finding a globally optimal solution for hard-exploration tasks, especially when there are misleading rewards. Our method significantly outperforms existing self-imitation learning and count-based exploration methods on various hard-exploration tasks with local optima. In particular, we report a state-of-the-art score of more than 20,000 points on Montezuma's Revenge without using expert demonstrations or resetting to arbitrary states.

研究动机与目标

• 解决传统自我模仿学习在稀疏奖励、高难度探索环境中导致次优、短视行为的挑战。
• 通过使智能体能够模仿多个过去轨迹而非仅表现最佳的轨迹，提升探索的多样性。
• 在密集探索场景中减少对专家演示或环境重置的依赖。
• 提升在存在误导性或局部奖励环境中的全局最优策略发现概率。

提出的方法

• 该方法训练一种轨迹条件化策略，使其行为基于特定的过去轨迹，从而实现对多样化成功行为的模仿。
• 从智能体的经验缓冲区中选择并存储多样化的高回报轨迹，以备后续模仿。
• 使用模仿损失训练策略，使其模仿每个选定轨迹中展示的行为。
• 通过定期在这些多样化轨迹上微调策略，增强探索能力，促进更广泛的状态空间覆盖。
• 通过防止智能体反复重新学习同一条狭窄路径，避免陷入局部最优。
• 该方法无需专家演示或环境重置，完全依赖智能体自身的经验。

实验结果

研究问题

• RQ1 通过模仿多样化轨迹而非仅表现最佳的轨迹，能否改进自我模仿学习？
• RQ2 在存在局部最优的稀疏奖励环境中，轨迹条件化模仿是否能减少短视行为？
• RQ3 该方法能否在无需专家数据的情况下，实现在《蒙特祖马的复仇》等高难度探索任务上的SOTA性能？
• RQ4 在样本效率和最终性能方面，该方法与基于计数的探索和标准自我模仿基线方法相比如何？

主要发现

• 所提出的方法在具有局部最优的高难度探索任务中，显著优于标准自我模仿学习和基于计数的探索方法。
• 在《蒙特祖马的复仇》游戏中，无需使用专家演示或环境重置，取得了超过20,000分的新SOTA成绩。
• 通过鼓励在多样化轨迹间探索，而非集中于单一高回报路径，该方法有效减少了短视行为。
• 轨迹条件化策略的使用，使在存在误导性奖励的环境中实现更有效且稳定的训练成为可能。
• 与基线方法相比，该方法在稀疏奖励环境中展现出更优的样本效率和鲁棒性。