[论文解读] A Deep Multi-Agent Reinforcement Learning Approach to Autonomous Separation Assurance

Marc Brittain, Xuxi Yang+1 more|arXiv (Cornell University)|Mar 17, 2020

Software Reliability and Analysis Research参考文献 40被引用 26

一句话总结

该论文提出了一种深度多智能体强化学习框架 D2MAV-A，通过引入注意力机制的近端策略优化（Proximal Policy Optimization），实现了在高密度、动态空域扇区中航空器的自主间隔保持。该框架通过在智能体间共享策略，实现了更快的训练速度、更少的速度变化以及更好的可扩展性，在复杂多变的交通场景中显著优于先前方法。

ABSTRACT

A novel deep multi-agent reinforcement learning framework is proposed to identify and resolve conflicts among a variable number of aircraft in a high-density, stochastic, and dynamic sector. Currently the sector capacity is constrained by human air traffic controller's cognitive limitation. We investigate the feasibility of a new concept (autonomous separation assurance) and a new approach to push the sector capacity above human cognitive limitation. We propose the concept of using distributed vehicle autonomy to ensure separation, instead of a centralized sector air traffic controller. Our proposed framework utilizes Proximal Policy Optimization (PPO) that we modify to incorporate an attention network. This allows the agents to have access to variable aircraft information in the sector in a scalable, efficient approach to achieve high traffic throughput under uncertainty. Agents are trained using a centralized learning, decentralized execution scheme where one neural network is learned and shared by all agents. The proposed framework is validated on three challenging case studies in the BlueSky air traffic control environment. Numerical results show the proposed framework significantly reduces offline training time, increases performance, and results in a more efficient policy.

研究动机与目标

• 为解决人类空中交通管制员在高密度空域中的局限性，通过机载人工智能实现航空器自主间隔保持。
• 设计一种可扩展的实时决策系统，能够处理可变数量的航空器及动态交通状况。
• 通过最小化速度调整，提升航路和终端空域的运行效率与安全性，同时维持航空器间的间隔。
• 在 BlueSky 空中交通仿真环境中，通过复杂且具有随机性的场景验证该框架的有效性。
• 探索迁移学习在多样化交通配置下实现更快收敛的潜力。

提出的方法

• 该框架采用集中式训练、分布式执行的机制，所有航空器智能体共享同一神经网络策略。
• 通过注意力机制将可变长度的交通信息编码为固定长度的上下文向量，实现对动态交通的可扩展处理。
• 采用近端策略优化（PPO）算法，并设计了一种新颖且精心构造的奖励函数，对冲突行为进行惩罚，同时奖励最小化速度变化。
• 系统在扩展了强化学习支持的 BlueSky 空中交通仿真环境中进行训练，支持并行化训练。
• 通过在更简单的案例研究（C）上初始化策略，再在更复杂组合场景（D）上进行训练，应用迁移学习。
• 采用多环境并行训练，加速策略学习并提升样本效率。

实验结果

研究问题

• RQ1 具备注意力机制的深度多智能体强化学习框架是否能有效应对高密度、可变交通量的空中交通场景中的自主间隔保持？
• RQ2 与无注意力基线方法相比，注意力网络的引入在可扩展性与性能方面有何提升？
• RQ3 在复杂、多配置的空中交通环境中，迁移学习在多大程度上可减少训练时间并提升收敛性？
• RQ4 所提出的框架是否能显著减少速度调整次数，同时保持无冲突的间隔？
• RQ5 共享策略架构在不同数量的航空器及扇区配置下表现如何？

主要发现

• 与先前的 D2MAV 框架相比，D2MAV-A 框架在复杂场景中显著缩短了离线训练时间并实现了更快的收敛速度。
• 与 D2MAV 基线相比，该框架将速度调整动作减少了 30%，表明其策略更高效，控制干预更少。
• 通过迁移学习，将案例研究 D 的收敛所需训练步数从 37,172（从零开始训练）减少至 908，训练步数减少了 97.6%。
• 采用迁移学习训练的策略从初始阶段即表现出高性能，仅因适应新环境而出现轻微性能下降。
• 注意力机制使模型能够有效处理可变数量的航空器及交汇点，且未增加模型复杂度。
• 该框架在多样化交通配置下表现出强健性与良好的泛化能力，包括包含多个案例研究的组合场景。