[论文解读] Challenges in Close-Proximity Safe and Seamless Operation of Manned and Unmanned Aircraft in Shared Airspace

Jay Patrikar, Joao P. A. Dantas+12 more|arXiv (Cornell University)|Nov 13, 2022

Air Traffic Management and Optimization被引用 6

一句话总结

本文提出了一种集成式人工智能副驾驶系统，可在共享空域中实现有人与无人驾驶航空器在目视飞行规则（VFR）下的安全、无缝且协作的运行。该系统利用自然语言理解、意图预测、基于视觉的探测以及高保真仿真技术，使自主飞行器能够实时理解空中交通管制（ATC）指令、预测有人飞行员行为，并协调着陆操作，已在有人-AI交互的联合跑道着陆场景中完成演示。

ABSTRACT

We propose developing an integrated system to keep autonomous unmanned aircraft safely separated and behave as expected in conjunction with manned traffic. The main goal is to achieve safe manned-unmanned vehicle teaming to improve system performance, have each (robot/human) teammate learn from each other in various aircraft operations, and reduce the manning needs of manned aircraft. The proposed system anticipates and reacts to other aircraft using natural language instructions and can serve as a co-pilot or operate entirely autonomously. We point out the main technical challenges where improvements on current state-of-the-art are needed to enable Visual Flight Rules to fully autonomous aerial operations, bringing insights to these critical areas. Furthermore, we present an interactive demonstration in a prototypical scenario with one AI pilot and one human pilot sharing the same terminal airspace, interacting with each other using language, and landing safely on the same runway. We also show a demonstration of a vision-only aircraft detection system.

研究动机与目标

• 实现有人与无人驾驶航空器在目视飞行规则（VFR）下的共享终端空域中安全、无缝且协作的运行。
• 开发一种AI系统，能够通过自然语言处理技术理解空中交通管制（ATC）指令与有人飞行员意图。
• 利用基于视觉的探测与轨迹预测技术，实现自主飞行器与有人驾驶飞行器之间的自保持分离与协同着陆。
• 通过使自主飞行器作为副驾驶在操作情境中与人类飞行员无异，降低对人工操作员的依赖。
• 通过实时交互演示验证系统性能，包括在跑道着陆过程中通过语言协调实现的协作。

提出的方法

• 开发了一套仅基于视觉的远距离飞机探测系统，使用2K高分辨率图像进行训练，以提升在低信噪比（SnR）条件下的探测性能。
• 实现了一种基于Transformer的BERT变体，通过在航空专业文本（如手册）上微调，实现稳健的自然语言理解与意图解析。
• 构建了高保真仿真环境XPlaneROS，将X-Plane 11与ROS集成，以实现逼真的飞机动力学与人-机交互。
• 采用蒙特卡洛树搜索（MCTS）结合级联控制结构，生成可适应意图变化的动态、安全飞行计划。
• 集成语言生成系统，生成自然语言响应，以澄清意图并减少人-机通信中的歧义。
• 结合轨迹预测模型与行为建模方法，以预测其他飞行器的预期与非预期机动行为。

实验结果

研究问题

• RQ1 自主飞行器如何实时理解并响应来自有人飞行员与ATC的高层级自然语言指令？
• RQ2 在真实VFR条件下，为实现对远距离、小尺寸、低信噪比（SnR）飞机的基于视觉探测，需要哪些技术改进？
• RQ3 AI系统如何预测有人驾驶飞机的意图与未来轨迹，以确保在近距离运行中实现安全自保持分离？
• RQ4 自然语言理解在减少歧义与促进人-机飞行员协作决策中发挥何种作用？
• RQ5 全自主AI副驾驶是否能在关键阶段（如进近与着陆）与人类飞行员安全、无缝地协同操作于同一跑道？

主要发现

• AI副驾驶成功解析了有人飞行员广播信息，基于语言线索预测出首选跑道（26号跑道），并生成恰当的语音响应以协调着陆。
• 系统在AI飞行员与有人飞行员联合进近并着陆于同一跑道的过程中，实现了安全协调，且能根据意图变化动态更新飞行计划。
• 基于视觉的探测在远距离与低信噪比条件下实现了可靠的飞机识别，其性能通过通用航空平台的真实世界数据得到验证。
• 语言理解系统有效解析了ATC与飞行员通信内容，实现了准确的意图推断与响应生成。
• 高保真仿真环境XPlaneROS支持了逼真的人-机交互测试，包括轨迹规划与动态障碍物规避。
• 演示结果证实，自主飞行器可在VFR条件下与有人飞行员协作运行，实现无缝集成，且无需修改现有国家空域系统（NAS）协议。