[論文レビュー] Resolving Congestions in the Air Traffic Management Domain via Multiagent Reinforcement Learning Methods

Theocharis Kravaris, Christos Spatharis+6 more|arXiv (Cornell University)|Dec 14, 2019

Air Traffic Management and Optimization参考文献 29被引用数 6

ひとこと要約

本稿では、空港交通管理の事前戦術的段階における地上遅延の最適化を通じて、空域混雑を解消するためのマルチエージェント強化学習（MARL）フレームワークを提案する。ホットスポット参加度と遅延コストを考慮した新規報酬関数を用いた協調的MARLアプローチにより、全体の遅延を低減するとともに、フライト間での遅延を公平に分配し、スペインにおける実世界の事例で現在の手動手法を上回る性能を発揮した。

ABSTRACT

In this article, we report on the efficiency and effectiveness of multiagent reinforcement learning methods (MARL) for the computation of flight delays to resolve congestion problems in the Air Traffic Management (ATM) domain. Specifically, we aim to resolve cases where demand of airspace use exceeds capacity (demand-capacity problems), via imposing ground delays to flights at the pre-tactical stage of operations (i.e. few days to few hours before operation). Casting this into the multiagent domain, agents, representing flights, need to decide on own delays w.r.t. own preferences, having no information about others' payoffs, preferences and constraints, while they plan to execute their trajectories jointly with others, adhering to operational constraints. Specifically, we formalize the problem as a multiagent Markov Decision Process (MA-MDP) and we show that it can be considered as a Markov game in which interacting agents need to reach an equilibrium: What makes the problem more interesting is the dynamic setting in which agents operate, which is also due to the unforeseen, emergent effects of their decisions in the whole system. We propose collaborative multiagent reinforcement learning methods to resolve demand-capacity imbalances: Extensive experimental study on real-world cases, shows the potential of the proposed approaches in resolving problems, while advanced visualizations provide detailed views towards understanding the quality of solutions provided.

研究の動機と目的

• 空域の容量を超える増加する需要に起因する空域混雑の増大という課題に対処すること。特に、フライトの数時間から数日前の事前戦術的段階を対象とする。
• 全フライトの地上遅延を最小限に抑えつつ、フライト間での公平な遅延配分と効率的な空域利用を確保すること。
• 他のエージェントの好みや報酬を事前に把握しない状況下で、フライト（自律的エージェントとして）が遅延を決定するための協調メカニズムを構築すること。
• 需要-容量の不均衡問題をマルチエージェントマルコフ決定過程（MA-MDP）およびマルコフゲームとして形式化し、遅延意思決定における均衡に到達すること。
• スペインの実世界ATMデータを用いて、提案手法の効率性と解の質を評価すること。

提案手法

• 各フライトをエージェントとするマルチエージェントマルコフ決定過程（MA-MDP）として、需要-容量の不均衡問題を定式化する。
• エージェントがホットスポットに与える貢献度と遅延の戦略的逸脱コストに基づいてペナルティを与える、新規で汎用性の高い報酬関数を設計する。
• 2つの協調的MARL手法を実装する：期待遅延最小化に基づくEd-MARLと、逆強化学習を用いたポリシー学習を行うIRL-MARL。
• 実世界のフライトデータ、セクタ構成、および運用記録に基づく遅延コストの基準を用い、スペインの複数日間の24時間周期で評価を実施する。
• 遅延分布と解の質を分析するために、空間的・時間的・空間時間的マップの高度な可視化を適用する。
• 遅延配分、遅延フライト数、ホットスポット解消度の観点から、現在の手動手法（NM）と比較する。

実験結果

リサーチクエスチョン

• RQ1 集中管理なしで、マルチエージェント強化学習（MARL）手法が、事前戦術的段階における空域交通管理の需要-容量不均衡を効果的に解消できるか。
• RQ2 MARLに基づく遅延意思決定は、現在の手動手法と比較して、公平性、総遅延、ホットスポット解消度においてどのように異なるか。
• RQ3 MARLソリューションは、システム全体の効率を維持しつつ、大規模な遅延を受けるフライト数をどの程度低減できるか。
• RQ4 分散型遅延意思決定が引き起こす自己組織的システム効果は、全体の混雑と遅延配分にどのように影響を与えるか。
• RQ5 空間時間的遅延パターンの可視的分析は、MARLソリューションの背後にある根拠を説明し、改善するのに役立つか。

主な発見

• Ed-MARLおよびIRL-MARL手法は、現在の手動手法（NM）と比較して、特に1日中の前半において、大規模な遅延を受けるフライト数を顕著に削減した。
• 両手法とも、すべての遅延区間において規制対象フライト数を削減し、特にEd-MARLは遅延を受けるフライト数が少ないことが判明した。
• 最も複雑なケース（7月2日）では、東部および南部スペイン（バルセロナ、バレンシア、セウウイル）の遅延が減少したが、北部西部では容量過剰のため遅延が増加した。
• ホットスポットは、必要な場所でのみ遅延を増加させることで効果的に解消された。特に需要が高く、容量が余剰なセクタや時間帯に限定的かつ適応的に対応した。
• 可視化により、MARLソリューションが、特に動的で需要の高い時期において、予測可能性と公平性を向上させていることが明らかになった。これは、一部のフライトに不要な遅延を課さず、混雑を効果的に管理していることを示している。
• 提案された報酬関数は、個々の遅延コストとシステム全体のホットスポット解消をうまくバランスさせ、完全な情報交換なしに効率的な協調を可能にした。