[论文解读] Backplay: "Man muss immer umkehren"

Cinjon Resnick, Roberta Răileanu+4 more|arXiv (Cornell University)|Jul 18, 2018

Reinforcement Learning in Robotics参考文献 47被引用 25

一句话总结

Backplay 是一种样本高效的强化学习方法，通过将单个专家示范轨迹反转，从轨迹末端开始逐步向初始状态推进，构建课程化训练策略，从而提升训练效率。该方法使智能体在稀疏奖励环境（如 Pommerman）中能够超越示范者表现，并学习到最优策略，且在样本效率上显著优于标准强化学习、行为克隆和反向课程学习方法。

ABSTRACT

Model-free reinforcement learning (RL) requires a large number of trials to learn a good policy, especially in environments with sparse rewards. We explore a method to improve the sample efficiency when we have access to demonstrations. Our approach, Backplay, uses a single demonstration to construct a curriculum for a given task. Rather than starting each training episode in the environment's fixed initial state, we start the agent near the end of the demonstration and move the starting point backwards during the course of training until we reach the initial state. Our contributions are that we analytically characterize the types of environments where Backplay can improve training speed, demonstrate the effectiveness of Backplay both in large grid worlds and a complex four player zero-sum game (Pommerman), and show that Backplay compares favorably to other competitive methods known to improve sample efficiency. This includes reward shaping, behavioral cloning, and reverse curriculum generation.

研究动机与目标

• 提升在稀疏奖励环境中的无模型强化学习样本效率。
• 开发一种基于课程的训练方法，仅需单个示范，无需专家动作或环境可逆性。
• 通过基于课程的反向训练，使智能体超越次优专家示范者的表现。
• 对 Backplay 在何种情况下优于或劣于其他课程学习与模仿学习方法，提供理论与实证分析。
• 探索 Backplay 在复杂、随机的多智能体环境（如 Pommerman）中的泛化性与鲁棒性。

提出的方法

• Backplay 通过反转单个专家示范，利用轨迹末尾状态作为初始训练点，构建课程。
• 智能体从接近示范轨迹末端的状态开始训练，并随训练时间逐步将起始点向初始状态后退。
• 训练从较简单的子目标（靠近轨迹末端）开始，随着智能体学会到达更早状态，难度逐步提升。
• 该方法无需专家动作或环境可逆性，仅依赖于单个示范中的状态序列。
• 通过从专家轨迹中按反向顺序采样初始状态，实现课程设计。
• Backplay 在网格世界和 Pommerman 环境中，与标准强化学习、行为克隆、奖励塑形及反向课程生成方法进行对比评估。

实验结果

研究问题

• RQ1 在哪些类型的环境中，Backplay 相较于标准强化学习能显著提升样本效率？
• RQ2 当专家示范本身次优时，Backplay 是否仍能使智能体学习到最优策略？
• RQ3 在样本复杂度与最终性能方面，Backplay 与奖励塑形、行为克隆及反向课程生成方法的实证比较结果如何？
• RQ4 课程推进速率与初始状态分布对 Backplay 学习速度与最终策略质量有何影响？
• RQ5 Backplay 是否能泛化到未见过的环境？在何种条件下其泛化能力会失效？

主要发现

• 在稀疏奖励的 100 张地图 Pommerman 环境中，Backplay 表现优异，而标准与均匀基线方法均未能学习到有意义的策略。
• 在 10 张未见过的地图测试集中，Backplay 智能体赢得 416 场，胜率范围为 18.3% 至 85.3%。
• Backplay 智能体学习到一种新型策略——投掷炸弹，该策略在以往 Pommerman 智能体（包括专家示范者）中均未出现。
• 在稀疏与密集奖励设置下，Backplay 在多个随机种子与环境设置中，均优于标准强化学习、行为克隆与反向课程方法。
• Backplay 展现出对次优示范的鲁棒性，学习到的策略在胜率与战略创新性方面均超越了示范者。
• 在多样地图上进行训练时，Backplay 在 Pommerman 中表现出强大的泛化能力，但在训练地图不足的简单迷宫环境中，泛化能力受到限制。