[논문 리뷰] Challenges in Close-Proximity Safe and Seamless Operation of Manned and Unmanned Aircraft in Shared Airspace

Jay Patrikar, Joao P. A. Dantas외 12명|arXiv (Cornell University)|2022. 11. 13.

Air Traffic Management and Optimization인용 수 6

한 줄 요약

이 논문은 공중에서 시각항행규칙(VFR)을 준수하는 공동 항공역내에서 crewed 및 uncrewed 항공기 간의 안전하고 원활하며 협업 가능한 운영을 가능하게 하는 통합 AI 공동조종사 시스템을 제안한다. 자연어 이해, 의도 예측, 시각 기반 탐지 및 고정밀 시뮬레이션을 활용하여, 자율 항공기 시스템이 항공교통통제(ATC) 지시를 해석하고 인간 조종사의 행동을 예측하며 실시간으로 착륙을 조율할 수 있도록 한다. 이는 인간-AI 상호작용이 포함된 공동 달리기 착륙 시나리오에서 입증되었다.

ABSTRACT

We propose developing an integrated system to keep autonomous unmanned aircraft safely separated and behave as expected in conjunction with manned traffic. The main goal is to achieve safe manned-unmanned vehicle teaming to improve system performance, have each (robot/human) teammate learn from each other in various aircraft operations, and reduce the manning needs of manned aircraft. The proposed system anticipates and reacts to other aircraft using natural language instructions and can serve as a co-pilot or operate entirely autonomously. We point out the main technical challenges where improvements on current state-of-the-art are needed to enable Visual Flight Rules to fully autonomous aerial operations, bringing insights to these critical areas. Furthermore, we present an interactive demonstration in a prototypical scenario with one AI pilot and one human pilot sharing the same terminal airspace, interacting with each other using language, and landing safely on the same runway. We also show a demonstration of a vision-only aircraft detection system.

연구 동기 및 목표

• 공중에서 시각항행규칙(VFR)을 준수하는 공동 터미널 항공역내에서 탑승 및 무인 항공기 간의 안전하고 원활하며 협업 가능한 운영을 가능하게 하기.
• 자연어 처리를 통해 고수준의 ATC 지시와 인간 조종사의 의도를 이해할 수 있는 AI 시스템을 개발하기.
• 시각 기반 탐지 및 궤도 예측을 활용하여 자율 항공기와 인간 조종사가 탑승한 항공기 간의 자율적 간격 유지 및 공동 착륙을 달성하기.
• 운영적 맥락에서 인간 조종사와 구분되지 않는 공동조종사 역할을 수행할 수 있도록 자율 항공기를 통해 인간 운영자에 대한 의존도를 줄이기.
• 도착 및 착륙 단계와 같은 핵심 단계에서 언어 매개 조정을 포함한 실시간 상호작용 시연을 통해 시스템을 검증하기.

제안 방법

• 저노이즈 조건에서의 탐지 성능 향상을 위해 고해상도 2K 이미지로 훈련된 시각 중심 장거리 항공기 탐지 시스템을 개발하였다.
• 항공 분야 전용 텍스트(예: 매뉴얼)로 미세조정된 트랜스포머 기반 BERT 변종을 구현하여 강력한 자연어 이해 및 의도 해석 능력을 확보하였다.
• 실제 항공기 동역학과 인간-AI 상호작용을 현실적으로 재현하기 위해 X-Plane 11과 ROS를 통합한 고정밀 시뮬레이션 환경인 XPlaneROS를 구축하였다.
• 변경되는 의도에 대응하기 위해 동적이고 안전한 비행 계획을 생성하기 위해 몬테카를로 트리 탐색(MCTS)과 캐스케이드 제어 구조를 결합하였다.
• 의도 명확화 및 모호성 감소를 위해 자연어 응답 생성 시스템을 통합하여 인간-AI 소통 중의 명확성을 높였다.
• 궤도 예측 모델과 행동 모델링을 조합하여 다른 항공기의 예상 및 예측 불가능한 조작을 사전에 예측하였다.

실험 결과

연구 질문

• RQ1 자율 항공기는 실시간으로 인간 조종사 및 ATC로부터의 고수준 자연어 지시를 어떻게 이해하고 반응할 수 있는가?
• RQ2 실세계 VFR 조건에서 저노이즈 비율(SnR)을 가진 작은, 먼 항공기의 시각 기반 탐지를 가능하게 하기 위해 어떤 기술적 개선이 필요한가?
• RQ3 AI 시스템은 어떻게 탑승 항공기의 의도와 향후 궤도를 예측하여 밀접한 거리에서의 안전한 자율 간격 유지 조치를 확보할 수 있는가?
• RQ4 자연어 이해는 인간과 AI 조종사 간의 협업 의사결정을 위한 모호성 감소에 어떤 역할을 하는가?
• RQ5 완전히 자율적인 AI 조종사는 공동 런웨이에서 착륙과 같은 핵심 단계에서 인간 조종사와 안전하고 원활하게 협업할 수 있는가?

주요 결과

• AI 공동조종사 시스템은 인간 조종사의 브로드캐스트 메시지를 성공적으로 해석하고, 언어적 신호에 기반해 선호하는 런웨이(26)를 예측하며, 착륙 조율을 위한 적절한 구두 응답을 생성하였다.
• 변경되는 의도에 대응하여 실시간으로 계획을 업데이트하는 동안, AI 조종사와 인간 조종사 간의 공동 접근 및 착륙에서 안전한 조율이 이루어졌다.
• 실세계 일반 항공 플랫폼에서 확보한 데이터를 활용해 검증된 바와 같이, 시각 기반 탐지 시스템은 장거리 및 저노이즈 조건에서도 신뢰할 수 있는 항공기 식별을 달성하였다.
• 자연어 이해 시스템은 ATC 및 조종사 간의 통신을 효과적으로 해석하여 정확한 의도 추론 및 응답 생성을 가능하게 하였다.
• XPlaneROS를 통한 고정밀 시뮬레이션은 인간-AI 상호작용, 궤도 계획 수립 및 동적 장애물 회피를 포함한 현실적인 테스트를 가능케 하였다.
• 시연 결과, 자율 항공기는 존재하는 NAS 프로토콜를 변경하지 않고도 인간 조종사와 원활하게 협업 운영이 가능함을 확인하였다.