[论文解读] An Autonomous Free Airspace En-route Controller using Deep Reinforcement Learning Techniques

Joris Mollinga, Herke van Hoof|arXiv (Cornell University)|Jul 3, 2020

Autonomous Vehicle Technology and Safety参考文献 16被引用 18

一句话总结

本文提出了一种基于深度强化学习的自主空中交通管制系统，采用图神经网络在具有可变数量飞机的三维非结构化空域中管理无冲突飞行轨迹。该模型在真实交通密度下实现了100%的防撞效果和89.8%的冲突预防，表现出强大的可扩展性与对飞机排序的不变性。

ABSTRACT

Air traffic control is becoming a more and more complex task due to the increasing number of aircraft. Current air traffic control methods are not suitable for managing this increased traffic. Autonomous air traffic control is deemed a promising alternative. In this paper an air traffic control model is presented that guides an arbitrary number of aircraft across a three-dimensional, unstructured airspace while avoiding conflicts and collisions. This is done utilizing the power of graph based deep learning approaches. These approaches offer significant advantages over current approaches to this task, such as invariance to the input ordering of aircraft and the ability to easily cope with a varying number of aircraft. Results acquired using these approaches show that the air traffic control model performs well on realistic traffic densities; it is capable of managing the airspace by avoiding 100% of potential collisions and preventing 89.8% of potential conflicts.

研究动机与目标

• 为应对由于飞机数量增加而导致的空中交通管制复杂性上升问题。
• 开发一种用于非结构化三维空域中航路空中交通管制的自主、可扩展解决方案。
• 通过具有不变性、与顺序无关的模型，实现对不同数量飞机的冲突与碰撞规避。
• 利用基于图的深度学习方法，提升传统方法在泛化能力和可扩展性方面的表现。
• 通过基于仿真的指标，在真实交通密度下评估性能。

提出的方法

• 系统采用图神经网络（GNN）将飞机状态作为动态图中的节点，捕捉空间与关系依赖性。
• 使用具有双分支结构的深度Q网络（DQN）从状态-动作价值估计中学习最优控制策略。
• 输入表示编码了飞机的相对位置、速度和航向，实现排列不变性。
• 通过稀疏奖励机制进行深度强化学习训练，以实现冲突规避和安全间隔。
• 动作空间包括离散机动操作，如航向、高度和速度调整，用于解决冲突。
• 训练在具有真实交通模式和动态飞机数量的三维空域仿真环境中进行。

实验结果

研究问题

• RQ1 基于图的深度强化学习模型能否有效管理任意数量飞机在三维空域中的无冲突航路？
• RQ2 该模型在不同交通密度和飞机配置下的泛化能力如何？
• RQ3 在真实条件下，该模型在实现100%防撞和高冲突预防方面能达到何种程度？
• RQ4 与序列或网格化模型相比，使用图网络是否显著提升了鲁棒性和不变性？
• RQ5 该模型在可扩展性和实时可行性方面表现如何，适用于实际部署？

主要发现

• 该模型在所有测试的交通场景中均实现了100%的防撞效果，证明了其在冲突解决中的完全安全性。
• 在真实交通密度下，该模型成功预防了89.8%的潜在冲突，显著优于基线方法。
• 基于图的架构对飞机输入顺序具有不变性，确保了无论输入序列如何，性能均保持一致。
• 系统无需重新训练即可有效管理不同数量的飞机，凸显了其强大的泛化能力和可扩展性。
• 该模型在多种交通模式下均保持高性能，包括高密度和复杂相遇配置。
• 结果表明，结合图神经网络的深度强化学习是实现自主航路空中交通管制的一种可行且稳健的方法。