[论文解读] Accelerating Training in Pommerman with Imitation and Reinforcement Learning

Hardik Meisheri, Omkar Shelke+2 more|arXiv (Cornell University)|Nov 12, 2019

Reinforcement Learning in Robotics参考文献 27被引用 7

一句话总结

本文提出了一种混合行为克隆与强化学习的方法，以加速多智能体Pommerman环境中的训练。通过先模仿一个带有噪声的专家策略，再使用基于课程学习的PPO进行微调，该方法仅用100,000场比赛便实现了卓越性能——在对阵Skynet的8场比赛中赢下或打成平局7场，显著快于以往非树搜索方法。

ABSTRACT

The Pommerman simulation was recently developed to mimic the classic Japanese game Bomberman, and focuses on competitive gameplay in a multi-agent setting. We focus on the 2$ imes$2 team version of Pommerman, developed for a competition at NeurIPS 2018. Our methodology involves training an agent initially through imitation learning on a noisy expert policy, followed by a proximal-policy optimization (PPO) reinforcement learning algorithm. The basic PPO approach is modified for stable transition from the imitation learning phase through reward shaping, action filters based on heuristics, and curriculum learning. The proposed methodology is able to beat heuristic and pure reinforcement learning baselines with a combined 100,000 training games, significantly faster than other non-tree-search methods in literature. We present results against multiple agents provided by the developers of the simulation, including some that we have enhanced. We include a sensitivity analysis over different parameters, and highlight undesirable effects of some strategies that initially appear promising. Since Pommerman is a complex multi-agent competitive environment, the strategies developed here provide insights into several real-world problems with characteristics such as partial observability, decentralized execution (without communication), and very sparse and delayed rewards.

研究动机与目标

• 通过结合行为克隆与强化学习，减少多智能体深度强化学习中的样本效率低下问题。
• 解决Pommerman中的挑战，包括部分可观测性、稀疏奖励以及竞争性多智能体环境中的非平稳性。
• 开发一种稳定的训练范式，防止从行为克隆过渡到强化学习过程中出现策略遗忘。
• 通过课程学习与奖励塑造加速收敛，避免对大量训练或树搜索的依赖。
• 在多样化对手（包括增强型智能体与竞赛基线）上评估该方法。

提出的方法

• 在Pommerman开发者提供的带有噪声的专家策略上进行初始行为克隆训练，以掌握基本游戏机制。
• 过渡到近端策略优化（PPO）并引入奖励塑造，以稳定学习过程并使奖励与期望行为对齐。
• 基于领域特定启发式方法应用动作过滤，以抑制次优动作并提升策略稳定性。
• 引入抖动校正机制，以处理训练过程中出现的噪声或不一致观测。
• 通过逐步提升对手难度实施课程学习，从静态且简单的智能体开始。
• 实现结合抖动校正与动作过滤的联合PPO智能体，以增强鲁棒性与性能。

实验结果

研究问题

• RQ1 在复杂多智能体环境（如Pommerman）中，对有缺陷的专家策略进行行为克隆是否能有效启动策略学习？
• RQ2 如何稳定从行为克隆到强化学习的过渡过程，以防止基础技能的灾难性遗忘？
• RQ3 课程学习在多智能体Pommerman训练中在多大程度上能加速收敛并提升最终性能？
• RQ4 奖励塑造、动作过滤与抖动校正对策略稳定性和胜率有何影响？
• RQ5 与纯强化学习及启发式基线相比，所提方法在性能与样本效率方面表现如何？

主要发现

• PPO智能体在对阵Skynet（2018年NeurIPS竞赛中第二好的智能体）的8场比赛中取得了7胜或平局的战绩。
• 该方法将训练时间缩短至100,000场比赛，显著快于文献中其他非树搜索方法。
• 同时采用抖动校正与动作过滤后，对所有对手的输局与平局均减少，且胜场数全部增加。
• 先与更简单的对手训练，有助于提升探索能力与炸弹放置策略，防止因模仿学习获得的基础技能在后续训练中丢失。
• 同时具备两种过滤机制的PPO智能体在对阵StaticAgent时胜率达到90.4%，而原始PPO仅为68.1%，充分证明了改进措施的有效性。
• 敏感性分析表明，部分初期看似有前景的策略（如无过滤的行为克隆）反而导致性能显著下降，凸显了超参数仔细调优的必要性。