[論文レビュー] UAVs Meet LLMs: Overviews and Perspectives Toward Agentic Low-Altitude Mobility

Yonglin Tian, Fei Lin+12 more|arXiv (Cornell University)|Jan 4, 2025

Robotic Path Planning Algorithms被引用数 3

ひとこと要約

このサーベイはUAVシステムとファウンデーションモデル（FMs）をレビューし、LLM/UAV統合を調査し、マルチモーダルUAVデータセットをカタログ化し、自己主導の知覚・記憶・推論・ツール活用を伴うエージェント的UAVのロードマップとアーキテクチャを提案する。

ABSTRACT

Low-altitude mobility, exemplified by unmanned aerial vehicles (UAVs), has introduced transformative advancements across various domains, like transportation, logistics, and agriculture. Leveraging flexible perspectives and rapid maneuverability, UAVs extend traditional systems' perception and action capabilities, garnering widespread attention from academia and industry. However, current UAV operations primarily depend on human control, with only limited autonomy in simple scenarios, and lack the intelligence and adaptability needed for more complex environments and tasks. The emergence of large language models (LLMs) demonstrates remarkable problem-solving and generalization capabilities, offering a promising pathway for advancing UAV intelligence. This paper explores the integration of LLMs and UAVs, beginning with an overview of UAV systems' fundamental components and functionalities, followed by an overview of the state-of-the-art in LLM technology. Subsequently, it systematically highlights the multimodal data resources available for UAVs, which provide critical support for training and evaluation. Furthermore, it categorizes and analyzes key tasks and application scenarios where UAVs and LLMs converge. Finally, a reference roadmap towards agentic UAVs is proposed, aiming to enable UAVs to achieve agentic intelligence through autonomous perception, memory, reasoning, and tool utilization. Related resources are available at https://github.com/Hub-Tian/UAVs_Meet_LLMs.

研究の動機と目的

• UAVシステムとその機能モジュールについての包括的背景を提供する。
• UAVに関連する最先端のファウンデーションモデルとマルチモーダルデータ資源を要約する。
• ナビゲーション、知覚、計画にまたがるLLM/UAV統合研究を体系的にレビューする。
• 自己主導の知覚・記憶・推論・ツール使用を備えたエージェント的UAVへ向けた設計フレームワークとロードマップを提案する。

提案手法

• UAVシステム、LLMs/VLMs/VFMsおよび異分野横断統合の系統的文献調査。
• UAV機能モジュール、構成、群制御の分類法の開発。
• トレーニングと評価のための公開データセットの収集と議論。
• LLM/UAV統合手法、応用、課題の批判的分析。
• 知覚・記憶・推論・ツール使用を備えたエージェント的UAVのアーキテクチャフレームワークの提案。

実験結果

リサーチクエスチョン

• RQ1 現代のUAVシステムとその典型的データリソースの基本的な構成要素と能力は何か。
• RQ2 ナビゲーション・知覚・計画に関するUAV関連タスクの現状はLLMsおよび他のファウンデーションモデルでどうなっているか。
• RQ3 LLMとUAVを統合するためのフレームワーク、技術、データセットはいくつ存在し、どんな課題が残っているか。
• RQ4 自己主導の知覚・記憶・推論・ツール活用を備えたエージェント的UAVを実現するために必要なアーキテクチャ原理と能力は何か。

主な発見

• 本論文はUAVシステムの構成要素とファウンデーションモデルの包括的な背景を提供する。
• 知能UAVシステムの学習・評価を支援する公開マルチモーダルデータ資源をカタログ化する。
• ナビゲーション・知覚・計画におけるLLM/UAV統合研究をレビューし、主要な手法と課題を特定する。
• エージェント的UAVの設計フレームワークを提案し、自己知覚・記憶・推論・ツール使用のアーキテクチャと能力を概説する。
• 本研究はLLMの能力を活用してUAVの自律性を高める参考資料となり、今後の研究方向を示す。