[论文解读] Continual Match Based Training in Pommerman: Technical Report

Peng Peng, Liang Pang+2 more|arXiv (Cornell University)|Dec 18, 2018

Domain Adaptation and Few-Shot Learning参考文献 7被引用 10

一句话总结

本文提出 COMBAT，一种无需示范或模仿的持续匹配训练框架，用于训练 Pommerman 智能体。通过采用轮换赛制、基于 ELO 的动态排名机制以及自适应折扣因子调优，该框架使智能体能够持续学习新技能（如炸弹踢击与道具收集），同时保留先前习得的知识，最终在 NeurIPS 2018 竞赛中取得第一名。

ABSTRACT

Continual learning is the ability of agents to improve their capacities throughout multiple tasks continually. While recent works in the literature of continual learning mostly focused on developing either particular loss functions or specialized structures of neural network explaining the episodic memory or neural plasticity, we study continual learning from the perspective of the training mechanism. Specifically, we propose a COnitnual Match BAsed Training (COMBAT) framework for training a population of advantage-actor-critic (A2C) agents in Pommerman, a partially observable multi-agent environment with no communication. Following the COMBAT framework, we trained an agent, namely, Navocado, that won the title of the top 1 learning agent in the NeurIPS 2018 Pommerman Competition. Two critical features of our agent are worth mentioning. Firstly, our agent did not learn from any demonstrations. Secondly, our agent is highly reproducible. As a technical report, we articulate the design of state space, action space, reward, and most importantly, the COMBAT framework for our Pommerman agent. We show in the experiments that Pommerman is a perfect environment for studying continual learning, and the agent can improve its performance by continually learning new skills without forgetting the old ones. Finally, the result in the Pommerman Competition verifies the robustness of our agent when competing with various opponents.

研究动机与目标

• 开发一种可扩展、可复现的多智能体强化学习训练框架，适用于部分可观测环境且奖励稀疏。
• 解决在复杂环境（如 Pommerman）中持续技能习得的挑战，使智能体在不遗忘已有知识的前提下学习反应性与长期规划技能。
• 通过基于竞争的匹配训练，消除对专家示范的依赖，实现自我改进。
• 探究动态超参数自适应（特别是折扣因子）如何在 POMDP 中帮助智能体跳出局部最优。
• 通过在 NeurIPS 2018 Pommerman 竞赛中与多样化对手对抗，验证该框架的鲁棒性。

提出的方法

• 并行训练 A2C 智能体群体，基于轮换赛制安排对战。
• 使用 ELO 评分根据对战结果对智能体进行排名，仅将表现最优的智能体用于持续训练。
• 对已收敛的智能体动态更新折扣因子（关键超参数），以探索新的行为策略。
• 逐步引入复杂性：从单智能体训练开始，接着进行团队训练，最后启用炸弹踢击行为。
• 设计奖励函数的课程：从基础生存奖励开始，随后加入道具收集奖励，最终整合团队协作机制。
• 采用多阶段训练流程：(1) 使用默认奖励的单智能体训练，(2) 加入道具奖励，(3) 团队训练但禁用踢击，(4) 启用踢击功能，实现技能的渐进式习得。

实验结果

研究问题

• RQ1 基于匹配的、群体驱动的训练框架是否能在无示范的情况下，实现在部分可观测、多智能体环境中的持续学习？
• RQ2 动态超参数调优（特别是折扣因子）如何使智能体摆脱局部最优，学习高级技能？
• RQ3 在竞争环境中通过持续训练学习新技能时，智能体在多大程度上能保留先前习得的技能？
• RQ4 缺乏通信机制且存在部分可观测性，是否阻碍或促进复杂合作与竞争行为的涌现？
• RQ5 在真实竞赛环境（如 NeurIPS 2018 Pommerman 竞赛）中，自我改进的训练框架是否能超越标准强化学习基线？

主要发现

• COMBAT 框架使 Navocado 智能体在未使用任何示范的情况下，于 NeurIPS 2018 Pommerman 竞赛中取得第一名。
• 该智能体展现出渐进式技能习得：从基本生存与道具收集，到高级行为如炸弹踢击与战略位移。
• 最终训练阶段的游戏回合长度从约 500 步减少至约 400 步，表明智能体在学习攻击与协作后，游戏行为更加高效且更具侵略性。
• 智能体学会通过紧邻爆炸点位置停留来躲避炸弹爆炸，展现出反应式生存行为。
• 智能体学会将敌方放置的炸弹踢向对手，利用炸弹爆炸作为战术武器，表明具备战略预见能力。
• 一旦掌握了如在木墙附近放置炸弹等基础技能，即使在超参数调优后也能保持；但若早期未能掌握，则后期难以习得，表明基础技能存在关键学习窗口。