[論文レビュー] A Deep Ensemble Multi-Agent Reinforcement Learning Approach for Air Traffic Control

S. K. Ghosh, Sean Laguna+3 more|arXiv (Cornell University)|Apr 3, 2020

Air Traffic Management and Optimization参考文献 9被引用数 16

ひとこと要約

本論文は、局所的なカーネルベースのポリシーとグローバルなディープMARLポリシー（PPO）を組み合わせることで、航空機の速度を動的に調整しながらリアルタイムの空路管制を最適化する、ディープアンサンブルマルチエージェント強化学習（MARL）フレームワークを提案する。この手法は最先端のベースラインを著しく上回り、中程度の燃料コスト設定ではベースライン比12.1%の報酬向上を達成し、低燃料コスト設定では18.8%の向上を示した。

ABSTRACT

Air traffic control is an example of a highly challenging operational problem that is readily amenable to human expertise augmentation via decision support technologies. In this paper, we propose a new intelligent decision making framework that leverages multi-agent reinforcement learning (MARL) to dynamically suggest adjustments of aircraft speeds in real-time. The goal of the system is to enhance the ability of an air traffic controller to provide effective guidance to aircraft to avoid air traffic congestion, near-miss situations, and to improve arrival timeliness. We develop a novel deep ensemble MARL method that can concisely capture the complexity of the air traffic control problem by learning to efficiently arbitrate between the decisions of a local kernel-based RL model and a wider-reaching deep MARL model. The proposed method is trained and evaluated on an open-source air traffic management simulator developed by Eurocontrol. Extensive empirical results on a real-world dataset including thousands of aircraft demonstrate the feasibility of using multi-agent RL for the problem of en-route air traffic control and show that our proposed deep ensemble MARL method significantly outperforms three state-of-the-art benchmark approaches.

研究の動機と目的

• 航空交通量の増加に伴い高まるルート管制の複雑さに対処し、知的な意思決定支援システムの必要性を満たすため。
• 空路における衝突回避と混雑緩和に効果的に寄与する、スケーラブルで分散型のMARLフレームワークを構築するため。
• マルチエージェント強化学習を通じた協調的ポリシーの学習により、到着の正確性を向上させ、燃料コストを削減するため。
• 推論段階で局所的カーネルベースポリシーとグローバルなディープMARLポリシーの間を知的に仲裁するアンサンブル機構を設計するため。
• オープンソースATCシミュレータを用いて実世界のデータを用いて検証し、既存のベンチマークを上回る性能を示すため。

提案手法

• 各航空機を分散型エージェントとしてモデル化し、協調的ポリシーを学習するマルチエージェント強化学習（MARL）パラダイムを採用する。
• カーネルベース手法（KBSF）はエージェント中心の状態表現を用い、各航空機のセクター内における局所的交通状況を捉える。
• プロキシマルポリシーオプティマイゼーション（PPO）に基づくディープMARLモデルは、グローバルな混雑状況や衝突パターンを含む広範な状態情報を処理する。
• アンサンブル学習者は、現在の状態に応じてカーネルベースポリシーとディープMARLポリシーの間を動的に選択し、長期的報酬を最適化する。
• 衝突回避、混雑低減、燃料コスト、到着の正確性を組み合わせた包括的な報酬関数を用いて、アンサンブルポリシーをエンドツーエンドで訓練する。
• 本手法は、数千機の航空機の実世界データを用いて、Eurocontrolのオープンソース空路管理シミュレータで評価された。

実験結果

リサーチクエスチョン

• RQ1 ディープアンサンブルMARLアプローチは、リアルタイム空路管制における局所的およびグローバルな意思決定を効果的にバランスできるか？
• RQ2 カーネルベースの局所的ポリシーとディープグローバルMARLポリシーを組み合わせることで、個々のモデルに比べて性能がどのように向上するか？
• RQ3 アンサンブル手法は、ルート管制管理における衝突、混雑、遅延、燃料コストをどの程度低減できるか？
• RQ4 本手法は、PPO、ローカルサーチ、および先行するMARL手法を含む最先端のベースラインを、さまざまな燃料コスト設定において上回るか？
• RQ5 アンサンブル機構は、優れた汎化性能と耐障害性を達成するため、ポリシー間を知的に仲裁する能力を学習できるか？

主な発見

• 提案されたディープアンサンブルMARL手法は、中程度の燃料コスト設定においてベースライン比平均12.1%の報酬向上を達成し、DD-MARL（6.2%）、ローカルサーチ（8.9%）、PPO（7%）、カーネルベース（9.2%）手法を著しく上回った。
• 低燃料コスト設定では、ベースライン比18.8%の向上を達成し、カーネルベース手法の18.3%に非常に近い水準に達しながら、さまざまな設定で高い耐障害性を維持した。
• 高燃料コスト設定では、ベースライン比3.6%の報酬向上を達成し、PPOと同等の性能を示し、ローカルサーチ手法（5.5%）よりも優れた結果を示した。
• アンサンブル手法は、局所的KBSFポリシーとグローバルPPOポリシーの長所を効果的に活用することで、極端な行動（例：継続的な加速）に過度に依存することを回避し、優れた汎化性能を示した。
• 報酬関数に衝突コストのみを考慮するという、BrittainとWei（2019）のベンチマークよりも17%の向上を達成した。
• 報酬曲線の標準誤差帯が狭く、収束が安定しており、多様な運用条件下でも耐障害性と信頼性が高いことが示された。