[论文解读] Flatland Competition 2020: MAPF and MARL for Efficient Train Coordination on a Grid World

Florian Laurent, Manuel Schneider+25 more|arXiv (Cornell University)|Mar 30, 2021

Vehicle Routing Optimization Methods被引用 7

一句话总结

本文介绍了2020年Flatland竞赛，该竞赛评估了在网格世界环境中使用多智能体强化学习（MARL）与运筹学（OR）方法进行高效列车协调的性能。通过基于图的观测、通信与优先级机制，比较了集中式与分布式MARL方法，结果表明尽管基于运筹学的解决方案在性能上优于强化学习，但MARL方法在有效协调机制下展现出巨大潜力。

ABSTRACT

The Flatland competition aimed at finding novel approaches to solve the vehicle re-scheduling problem (VRSP). The VRSP is concerned with scheduling trips in traffic networks and the re-scheduling of vehicles when disruptions occur, for example the breakdown of a vehicle. While solving the VRSP in various settings has been an active area in operations research (OR) for decades, the ever-growing complexity of modern railway networks makes dynamic real-time scheduling of traffic virtually impossible. Recently, multi-agent reinforcement learning (MARL) has successfully tackled challenging tasks where many agents need to be coordinated, such as multiplayer video games. However, the coordination of hundreds of agents in a real-life setting like a railway network remains challenging and the Flatland environment used for the competition models these real-world properties in a simplified manner. Submissions had to bring as many trains (agents) to their target stations in as little time as possible. While the best submissions were in the OR category, participants found many promising MARL approaches. Using both centralized and decentralized learning based approaches, top submissions used graph representations of the environment to construct tree-based observations. Further, different coordination mechanisms were implemented, such as communication and prioritization between agents. This paper presents the competition setup, four outstanding solutions to the competition, and a cross-comparison between them.

研究动机与目标

• 为在复杂铁路网络中解决动态车辆重调度问题（VRSP），采用可扩展的实时协调方法。
• 在大规模、部分可观察的网格世界环境中，评估多智能体强化学习（MARL）与传统运筹学（OR）技术的有效性。
• 研究观测设计、通信机制与优先级策略对多智能体路径规划（MAPF）场景中MARL性能的影响。
• 比较集中式训练与分布式执行（CTDE）范式与集中式规划方法在可扩展性与解质量方面的表现。
• 识别将MARL应用于现实世界交通协调时的关键挑战，包括死锁解决与长期规划问题。

提出的方法

• 采用简化的网格世界环境（Flatland），以模拟真实铁路网络的动力学特性，包括列车移动、道岔切换与冲突。
• 使用基于图的观测——具体为每个智能体周围的树状结构观测——以提升局部感知与协调能力。
• 实施集中式与分布式MARL训练，采用集中式评论家与分布式执行器，以平衡协调性与可扩展性。
• 应用协调机制，如全局冲突图构建、局部通信与交通信号聚类，以解决路径冲突。
• 集成基于启发式的优先级策略（如基于出发时刻表的优先级）与手工设计特征，以提升复杂场景下的性能。
• 使用包含不同列车数量与网络复杂度的基准套件评估解决方案，测量完成时间与成功率。

实验结果

研究问题

• RQ1 在大规模列车协调任务中，集中式与分布式MARL方法在性能与可扩展性方面如何比较？
• RQ2 基于图与树状结构的观测在部分可观察环境中对多智能体路径规划的改善程度如何？
• RQ3 通信机制与优先级策略在减少MARL-based列车调度中的冲突与死锁方面有多有效？
• RQ4 在复杂、动态的铁路调度任务中，基于强化学习的协调机制能否优于或补充手工设计的启发式方法？
• RQ5 观测设计与特征工程在MARL用于MAPF时，对实现长期规划与空间推理起到了何种作用？

主要发现

• 基于运筹学（OR）的解决方案，特别是集中式优先级规划方法（如An_Old_Driver），在完成时间与成功率方面优于所有MARL方法。
• 采用集中式训练与分布式执行（CTDE）的MARL解决方案实现了具有竞争力的性能，表明有效的协调机制可弥补部分可观测性带来的限制。
• 基于图与树状结构的观测显著提升了局部感知与协调能力，使智能体能够推理邻近冲突与路径依赖关系。
• 通信机制——包括手工设计与学习得到的——在高冲突率的密集环境中显著改善了协调效果。
• 优先级策略，如基于冲突图或时刻表的优先级分配，在防止死锁与提升解的稳定性方面至关重要。
• 尽管性能表现良好，MARL方法在复杂、级联式死锁场景中仍存在困难，表明仍需改进长期规划与时间推理能力。