[논문 리뷰] UAVs Meet LLMs: Overviews and Perspectives Toward Agentic Low-Altitude Mobility

Yonglin Tian, Fei Lin외 12명|arXiv (Cornell University)|2025. 01. 04.

Robotic Path Planning Algorithms인용 수 3

한 줄 요약

이 설문조사는 UAV 시스템과 기초 모델(FMs)을 검토하고, LLM/UAV 통합을 조사하며, 다중모달 UAV 데이터 세트를 카탈로그화하고, 자율적 인지, 기억, 추론 및 도구 사용을 갖춘 에이전트형 UAV를 위한 로드맵과 아키텍처를 제안합니다.

ABSTRACT

Low-altitude mobility, exemplified by unmanned aerial vehicles (UAVs), has introduced transformative advancements across various domains, like transportation, logistics, and agriculture. Leveraging flexible perspectives and rapid maneuverability, UAVs extend traditional systems' perception and action capabilities, garnering widespread attention from academia and industry. However, current UAV operations primarily depend on human control, with only limited autonomy in simple scenarios, and lack the intelligence and adaptability needed for more complex environments and tasks. The emergence of large language models (LLMs) demonstrates remarkable problem-solving and generalization capabilities, offering a promising pathway for advancing UAV intelligence. This paper explores the integration of LLMs and UAVs, beginning with an overview of UAV systems' fundamental components and functionalities, followed by an overview of the state-of-the-art in LLM technology. Subsequently, it systematically highlights the multimodal data resources available for UAVs, which provide critical support for training and evaluation. Furthermore, it categorizes and analyzes key tasks and application scenarios where UAVs and LLMs converge. Finally, a reference roadmap towards agentic UAVs is proposed, aiming to enable UAVs to achieve agentic intelligence through autonomous perception, memory, reasoning, and tool utilization. Related resources are available at https://github.com/Hub-Tian/UAVs_Meet_LLMs.

연구 동기 및 목표

• UAV 시스템과 그 기능 모듈에 대한 포괄적 배경을 제공합니다.
• UAV와 관련된 최첨단 기초 모델 및 다중모달 데이터 자원을 요약합니다.
• 항해, 인지 및 계획에 걸친 기존 LLM/UAV 통합 연구를 체계적으로 검토합니다.
• 자율적 인지, 기억, 추론 및 도구 활용을 갖춘 에이전트형 UAV를 향한 설계 프레임워크와 로드맵을 제안합니다.

제안 방법

• UAV 시스템, LLM/VLM/VFM 및 교차 도메인 통합에 대한 체계적 문헌 고찰.
• UAV 기능 모듈, 구성 및 군집 능력에 대한 분류 체계 개발.
• 훈련 및 평가를 위한 공개 사용 가능한 UAV 데이터 세트의 수집 및 논의.
• LLM/UAV 통합 방법, 응용 및 도전과제에 대한 비판적 분석.
• 지각, 기억, 추론 및 도구 사용을 갖춘 에이전트형 UAV를 위한 아키텍처 프레임워크 제안.

실험 결과

연구 질문

• RQ1 현대 UAV 시스템의 기본 구성요소와 기능 자원은 무엇인가?
• RQ2 항해, 인지, 계획 등 UAV 관련 작업을 위한 LLM 및 기타 기초 모델의 현재 상태는 어떠한가?
• RQ3 LLM과 UAV를 통합하기 위한 프레임워크, 기법 및 데이터 세트는 무엇이 있으며 남은 도전과제는 무엇인가?
• RQ4 자율적 인지, 기억, 추론 및 도구 활용을 갖춘 에이전트형 UAV를 달성하기 위한 건축 원칙과 능력은 무엇이 필요한가?

주요 결과

• 본 논문은 UAV 시스템 구성요소와 기초 모델에 대한 포괄적 배경을 제공합니다.
• 지능형 UAV 시스템의 훈련 및 평가를 지원하는 공개적으로 이용 가능한 다중모달 데이터 자원을 카탈로그화합니다.
• 항해, 인지 및 계획에 걸친 LLM/UAV 통합 연구를 검토하여 주요 방법론과 도전과제를 식별합니다.
• 에이전트형 UAV를 위한 설계 프레임워크를 제시하여 자율적 인지, 기억, 추론 및 도구 사용을 위한 아키텍처와 기능을 제시합니다.
• 본 연구는 LLM 기능을 활용하여 UAV 자율성을 향상시키는 방향을 제시하고 향후 연구 방향을 제시하는 참고 자료로 작용합니다.