[论文解读] A Deep Ensemble Multi-Agent Reinforcement Learning Approach for Air Traffic Control

S. K. Ghosh, Sean Laguna+3 more|arXiv (Cornell University)|Apr 3, 2020

Air Traffic Management and Optimization参考文献 9被引用 16

一句话总结

本文提出了一种深度集成多智能体强化学习（MARL）框架，结合基于局部核的策略与全局深度MARL策略（PPO），通过动态调整飞机速度来优化实时空中交通管制。该方法显著优于最先进基线模型，在中等燃油成本情景下较基线提升12.1%的奖励，在低燃油成本设置下提升18.8%。

ABSTRACT

Air traffic control is an example of a highly challenging operational problem that is readily amenable to human expertise augmentation via decision support technologies. In this paper, we propose a new intelligent decision making framework that leverages multi-agent reinforcement learning (MARL) to dynamically suggest adjustments of aircraft speeds in real-time. The goal of the system is to enhance the ability of an air traffic controller to provide effective guidance to aircraft to avoid air traffic congestion, near-miss situations, and to improve arrival timeliness. We develop a novel deep ensemble MARL method that can concisely capture the complexity of the air traffic control problem by learning to efficiently arbitrate between the decisions of a local kernel-based RL model and a wider-reaching deep MARL model. The proposed method is trained and evaluated on an open-source air traffic management simulator developed by Eurocontrol. Extensive empirical results on a real-world dataset including thousands of aircraft demonstrate the feasibility of using multi-agent RL for the problem of en-route air traffic control and show that our proposed deep ensemble MARL method significantly outperforms three state-of-the-art benchmark approaches.

研究动机与目标

• 为应对由于航空交通量上升而带来的航路空中交通管制复杂性增加的问题，并满足智能决策支持系统的需求。
• 开发一种可扩展、去中心化的MARL框架，以有效捕捉空中交通中的局部与全局动态，实现有效的冲突解决与拥堵缓解。
• 通过多智能体强化学习学习协作策略，提升到达准时性并降低燃油成本。
• 设计一种集成机制，在推理过程中智能地在基于局部核的策略与全局深度MARL策略之间进行仲裁。
• 在真实世界数据上使用开源ATC模拟器验证该方法，证明其在现有基准上的优越性能。

提出的方法

• 该框架将每架飞机建模为一个去中心化智能体，采用多智能体强化学习（MARL）范式来学习协作策略。
• 基于核的方法（KBSF）利用以智能体为中心的状态表示，捕捉每架飞机所在扇区内的局部交通状况。
• 基于近端策略优化（PPO）的深度MARL模型处理更广泛的状态信息，包括全局拥堵与冲突模式。
• 训练一个集成学习器，根据当前状态动态选择基于核的策略或深度MARL策略，以优化长期奖励。
• 使用综合奖励函数端到端训练集成策略，该函数结合了冲突避免、拥堵减少、燃油成本与到达准时性。
• 该方法在使用Eurocontrol开源空中交通管理模拟器的真实世界数据集（包含数千架飞机）上进行了评估。

实验结果

研究问题

• RQ1 深度集成MARL方法能否在实时空中交通管制中有效平衡局部与全局决策？
• RQ2 将基于核的局部策略与深度全局MARL策略结合，相较于单一模型，性能提升程度如何？
• RQ3 该集成方法在航路空中交通管理中，能在多大程度上减少冲突、拥堵、延迟与燃油成本？
• RQ4 在不同燃油成本情景下，该方法是否在性能上全面超越最先进基线，包括PPO、局部搜索与先前的MARL方法？
• RQ5 该集成机制能否学会智能地在策略间进行仲裁，以实现更优的泛化能力与鲁棒性？

主要发现

• 在中等燃油成本情景下，所提出的深度集成MARL方法相较于基线实现了12.1%的平均奖励提升，显著优于DD-MARL（6.2%）、局部搜索（8.9%）、PPO（7%）与基于核的方法（9.2%）。
• 在低燃油成本情景下，集成方法相较基线实现了18.8%的提升，与基于核的方法的18.3%增益非常接近，同时在各类设置下保持了鲁棒性。
• 在高燃油成本情景下，集成方法相较基线实现了3.6%的奖励提升，与PPO表现相当，优于仅实现5.5%提升的局部搜索方法。
• 集成方法通过有效结合局部KBSF策略与全局PPO策略的优势，展现出优越的泛化能力，避免了对极端动作（如持续加速）的过度依赖。
• 在Brittain和Wei（2019）的简化奖励函数（仅考虑冲突成本）下，该方法相比其基准提升了17%。
• 该方法表现出稳定的收敛性与更低的方差，奖励曲线的标准误带更紧密，表明在多样化运行条件下具备更强的鲁棒性与可靠性。