[論文レビュー] Challenges in Close-Proximity Safe and Seamless Operation of Manned and Unmanned Aircraft in Shared Airspace

Jay Patrikar, Joao P. A. Dantas+12 more|arXiv (Cornell University)|Nov 13, 2022

Air Traffic Management and Optimization被引用数 6

ひとこと要約

本論文は、共有されるVFR空域における有人・無人航空機間の安全でスムーズかつ協働的な運用を可能にする統合型AIコ・ピLOTシステムを提案する。自然言語理解、意図予測、ビジョンベースの検出、高精度なシミュレーションを活用し、自律型航空機が管制指令を解釈し、有人パイロットの行動を予測し、リアルタイムで着陸を調整できる。人間とAIの協働による共同ランウェイ着陸シナリオで実証された。

ABSTRACT

We propose developing an integrated system to keep autonomous unmanned aircraft safely separated and behave as expected in conjunction with manned traffic. The main goal is to achieve safe manned-unmanned vehicle teaming to improve system performance, have each (robot/human) teammate learn from each other in various aircraft operations, and reduce the manning needs of manned aircraft. The proposed system anticipates and reacts to other aircraft using natural language instructions and can serve as a co-pilot or operate entirely autonomously. We point out the main technical challenges where improvements on current state-of-the-art are needed to enable Visual Flight Rules to fully autonomous aerial operations, bringing insights to these critical areas. Furthermore, we present an interactive demonstration in a prototypical scenario with one AI pilot and one human pilot sharing the same terminal airspace, interacting with each other using language, and landing safely on the same runway. We also show a demonstration of a vision-only aircraft detection system.

研究の動機と目的

• 有人・無人航空機が視認飛行規則（VFR）下で共有されるターミナル空域で安全でスムーズかつ協働的な運用を可能にすること。
• 自然言語処理を用いて、高レベルのATC指令とパイロットの意図を解釈できるAIシステムを開発すること。
• ビジョンベースの検出と軌道予測を用いて、自律型と有人操縦航空機の間で自己分離と協調着陸を実現すること。
• 人間の操縦者に依存することを減らし、自律型航空機が運用上、人間パイロットと区別がつかないコ・ピLOTとして機能できること。
• ランウェイ着陸中の言語を介した協調を含むリアルタイム相互作用デモンストレーションを通じて、システムを検証すること。

提案手法

• 低SNR（信号対雑音比）条件下での検出を向上させるために、2K解像度の高精細画像でトレーニングされた、ビジョンオンリの長距離航空機検出システムを開発した。
• 航空業界特化のテキスト（例：マニュアル）で微調整されたトランスフォーマー型BERT変種を実装し、堅牢な言語理解と意図解釈を可能にした。
• X-Plane 11とROSを統合した高精度なシミュレーション環境「XPlaneROS」を構築し、現実的な航空機の運動特性と人間-AI相互作用を再現した。
• 変化する意図に適応可能な安全で動的な飛行計画を生成するために、段階的制御構造を用いたモンテカルロツリー探索（MCTS）を採用した。
• 自然言語応答を生成する言語生成システムを統合し、意図の明確化と曖昧さの低減を図り、人間-AI間の通信を改善した。
• 軌道予測モデルと行動モデリングの組み合わせを用いて、他の航空機の予想および予期しないマニューバーを予測した。

実験結果

リサーチクエスチョン

• RQ1 自律型航空機は、リアルタイムでパイロットやATCから出される高レベルの自然言語指令をどのように解釈し、応答できるか？
• RQ2 実世界のVFR条件下で、低SNRの小さな遠距離航空機をビジョンベースで検出するために、どのような技術的改善が必要か？
• RQ3 AIシステムは、接近運用における安全な自己分離を確保するために、有人航空機の意図と将来の軌道をどのように予測できるか？
• RQ4 言語理解は、曖昧さを低減させ、人間とAIパイロット間の協働意思決定をどのように支援するか？
• RQ5 完全に自律的なAIパイロットは、アプローチやランウェイ着陸といった重要なフェーズにおいて、人間パイロットと安全でスムーズに協調できるか？

主な発見

• AIコ・ピLOTは、パイロットが放送するメッセージを正常に解釈し、言語的ヒントに基づいて好ましいランウェイ（26）を特定し、着陸を調整する適切な音声応答を生成した。
• システムは、同じランウェイへの共同アプローチおよび着陸において、AIパイロットと人間パイロットの間で安全な協調を実現し、意図の変化に応じた動的計画更新を実現した。
• ビジョンベースの検出は、長距離および低SNR条件下でも信頼性の高い航空機識別を達成し、一般航空プラットフォームからの実世界データで検証された。
• 言語理解システムは、ATCおよびパイロットの通信を効果的に解析し、正確な意図推定と応答生成を可能にした。
• XPlaneROSを用いた高精度なシミュレーションにより、人間-AI相互作用のテストが現実的に行え、軌道計画と動的障害物回避が再現された。
• デモンストレーションにより、自律型航空機がNASプロトコルの変更なしに、VFR下で人間パイロットとシームレスに協働運用できることを確認した。