[論文レビュー] Flatland Competition 2020: MAPF and MARL for Efficient Train Coordination on a Grid World

Florian Laurent, Manuel Schneider+25 more|arXiv (Cornell University)|Mar 30, 2021

Vehicle Routing Optimization Methods被引用数 7

ひとこと要約

本論文は、グリッドワールド環境における効率的な列車調整を評価するためのFlatland Competition 2020を提示している。マルチエージェント強化学習（MARL）とオペレーションズリサーチ（OR）手法を比較し、グラフベースの観測、通信、優先順位付けメカニズムを用いた集中型および分散型MARL手法を検証した。その結果、ORベースのソリューションが性能面でRLを上回ったが、適切な協調メカニズムを備えたMARLアプローチは、顕著な潜在的性能を示した。

ABSTRACT

The Flatland competition aimed at finding novel approaches to solve the vehicle re-scheduling problem (VRSP). The VRSP is concerned with scheduling trips in traffic networks and the re-scheduling of vehicles when disruptions occur, for example the breakdown of a vehicle. While solving the VRSP in various settings has been an active area in operations research (OR) for decades, the ever-growing complexity of modern railway networks makes dynamic real-time scheduling of traffic virtually impossible. Recently, multi-agent reinforcement learning (MARL) has successfully tackled challenging tasks where many agents need to be coordinated, such as multiplayer video games. However, the coordination of hundreds of agents in a real-life setting like a railway network remains challenging and the Flatland environment used for the competition models these real-world properties in a simplified manner. Submissions had to bring as many trains (agents) to their target stations in as little time as possible. While the best submissions were in the OR category, participants found many promising MARL approaches. Using both centralized and decentralized learning based approaches, top submissions used graph representations of the environment to construct tree-based observations. Further, different coordination mechanisms were implemented, such as communication and prioritization between agents. This paper presents the competition setup, four outstanding solutions to the competition, and a cross-comparison between them.

研究の動機と目的

• スケーラブルでリアルタイムな協調手法を用いて、複雑な鉄道ネットワークにおける動的車両再スケジューリング問題（VRSP）を解決すること。
• 大規模で部分的に観測可能なグリッドワールド環境において、マルチエージェント強化学習（MARL）と従来のオペレーションズリサーチ（OR）技術の有効性を評価すること。
• 観測設計、通信、優先順位付けメカニズムが、マルチエージェントパスファインディング（MAPF）シナリオにおけるMARL性能に与える影響を調査すること。
• スケーラビリティとソリューション品質の観点から、集中型学習と分散型実行（CTDE）パラダイムと集中型計画手法を比較すること。
• デッドロック解消と長期計画の両立を含む、MARLを実世界の交通協調に適用する際の主な課題を同定すること。

提案手法

• 鉄道ネットワークのダイナミクス（列車移動、スイッチ、衝突）を模倣する簡素化されたグリッドワールド環境（Flatland）を採用した。
• 各エージェントの周囲に木構造を持つ観測を用いたグラフベースの観測を導入し、局所的認識と協調性を向上させた。
• 集中型クライアントと分散型エージェントを備えた、集中型学習と分散型実行（CTDE）の両方のMARLトレーニングを実装し、協調性とスケーラビリティのバランスを図った。
• パスの衝突を解消するために、グローバルな衝突グラフの構築、局所的通信、交通信号のクラスタリングといった協調メカニズムを適用した。
• 出発スケジュールに基づくなど、ヒューリスティックな優先順位付けと手作業で設計された特徴量を統合し、複雑なシナリオでの性能を向上させた。
• 列車数やネットワークの複雑さが変動するベンチマークスイートを用いてソリューションを評価し、完了時間と成功確率を測定した。

実験結果

リサーチクエスチョン

• RQ1 大規模な列車協調において、集中型と分散型のMARLアプローチは、性能とスケーラビリティの観点でどのように比較されるか？
• RQ2 グラフベースおよび木構造の観測は、部分的に観測可能な環境におけるマルチエージェントパスファインディングをどの程度向上させるか？
• RQ3 通信メカニズムと優先順位戦略は、MARLベースの列車スケジューリングにおける衝突とデッドロックの低減にどの程度効果的か？
• RQ4 RLベースの協調メカニズムは、複雑で動的な鉄道スケジューリングタスクにおいて、手作業で設計されたヒューリスティクスを上回るか、あるいは補完することができるか？
• RQ5 観測設計と特徴量エンジニアリングは、MARLにおけるMAPFの長期計画と空間的推論を可能にする上で、どのような役割を果たすか？

主な発見

• オペレーションズリサーチ（OR）ベースのソリューション、特に集中型優先計画手法（An_Old_Driver）が、完了時間と成功確率の両面で、すべてのMARLアプローチを上回った。
• 集中型学習と分散型実行（CTDE）を用いたMARLソリューションは、競争力ある性能を達成しており、効果的な協調メカニズムが部分的観測の欠如を補う可能性を示した。
• グラフベースおよび木構造の観測は、局所的認識と協調性を顕著に向上させ、エージェントが近隣の衝突やパス依存関係を理解できるようにした。
• 通信メカニズム（手作業で設計されたものおよび学習されたもの）は、特に衝突率の高い密集した環境において、協調性を向上させた。
• 優先順位戦略（衝突グラフに基づく、またはスケジュールに基づく優先順位割り当て）は、デッドロックの防止とソリューションの安定性向上に不可欠な役割を果たした。
• 強力な性能を示したが、MARLアプローチは依然として複雑で連鎖的なデッドロックに対処できず、改善された長期計画と時系列的推論の必要性が示された。