[논문 리뷰] TypeFly: Flying Drones with Large Language Model

Guojun Chen, Xiaojing Yu외 2명|arXiv (Cornell University)|2023. 12. 08.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

TypeFly는 현장에 구축된 엣지 비전 처리, 고유의 경량 프로그래밍 언어(MiniSpec), 그리고 동적 쿼리 기능을 갖춘 LLM 기반 계획을 결합하여 자연어로 기술된 복잡한 작업을 드론이 수행할 수 있도록 하는 종단 간 시스템이다. 이는 고도화된 프롬프트 엔지니어링과 런타임 중 LLM 참조를 위한 '쿼리' 기능을 통해 LLM 서비스 비용과 작업 실행 시간을 2배 이상 절감하면서도 복잡한 드론 작업의 성공률을 크게 향상시킨다.

ABSTRACT

Recent advancements in robot control using large language models (LLMs) have demonstrated significant potential, primarily due to LLMs' capabilities to understand natural language commands and generate executable plans in various languages. However, in real-time and interactive applications involving mobile robots, particularly drones, the sequential token generation process inherent to LLMs introduces substantial latency, i.e. response time, in control plan generation. In this paper, we present a system called ChatFly that tackles this problem using a combination of a novel programming language called MiniSpec and its runtime to reduce the plan generation time and drone response time. That is, instead of asking an LLM to write a program (robotic plan) in the popular but verbose Python, ChatFly gets it to do it in MiniSpec specially designed for token efficiency and stream interpretation. Using a set of challenging drone tasks, we show that design choices made by ChatFly can reduce up to 62% response time and provide a more consistent user experience, enabling responsive and intelligent LLM-based drone control with efficient completion.

연구 동기 및 목표

• 클라우드 기반 이미지 전송에 의존하지 않고 드론의 종단 간 자연어 제어를 가능하게 하는 것.
• 토큰 출력을 최소화하고 비전 처리를 엣지 디바이스로 오프로드하여 드론 작업 계획에서 LLM 추론 비용과 지연 시간을 줄이는 것.
• 신규 쿼리 메커니즘과 구조화된 프롬프트 엔지니어링을 통해 복잡한 드론 작업의 신뢰성과 성공률을 향상시키는 것.
• LLM에서 생성한 코드를 직접 실행하는 대신 검증된 최소한의 도메인 특화 언어(MiniSpec)를 사용하여 시스템의 안전성을 높이는 것.
• 개인적 또는 동적 환경에서 실시간 드론 제어를 위한 LLM 배포 시 개인정보 보호, 효율성, 안전성 문제를 해결하는 것.

제안 방법

• TypeFly는 드론이 촬영한 영상을 현장에 있는 엣지 서버에서 자연어 기반의 장면 기술로 변환하여 개인정보 보호를 확보하고 대역폭을 줄인다.
• 사용자에게 가독성이 있고 기계로도 해석할 수 있는 작고 효율적인 계획을 생성하기 위해 고유의 최소한의 프로그래밍 언어인 MiniSpec를 사용한다.
• 드론 컨트롤러가 작업 실행 중에 원격 LLM을 호출할 수 있도록 허용하는 MiniSpec의 '쿼리' 기능을 시스템이 활용한다.
• 소수의 예시와 구조화된 템플릿을 포함한 프롬프트 엔지니어링 기법을 사용하여 LLM이 정확하고 실행 가능한 MiniSpec 계획을 생성하도록 이끈다.
• MiniSpec 인터프리터는 계획을 검증하고 실행하여 위험하거나 잘못된 형식의 코드가 실행되는 것을 방지한다.
• 실시간 장면 이해를 위해 YOLO 기반 객체 탐지 기술을 통합하고, 비전 인코더의 유연성을 통해 환경 조건에 동적으로 대응한다.

실험 결과

연구 질문

• RQ1 사용자 개인정보 보호를 유지하면서도 클라우드로의 데이터 전송을 최소화하면서 자연어 기반 드론 제어를 어떻게 실현할 수 있는가?
• RQ2 드론 작업 계획에서 LLM 추론 비용과 지연 시간을 크게 줄이기 위해 프로그래밍 언어와 프롬프트 엔지니어링에서 어떤 설계 선택이 중요한가?
• RQ3 경량 도메인 특화 언어(MiniSpec)가 LLM이 생성한 드론 제어 계획의 신뢰성과 안전성에 얼마나 기여하는가?
• RQ4 런타임 중 LLM 참조를 가능하게 하는 '쿼리' 기능은 변화가 빠른 환경에서 복잡한 작업의 성공률 향상에 얼마나 효과적인가?
• RQ5 실시간, 임무 중심의 드론 응용 프로그램에서 프롬프트 엔지니어링 시 가이드와 예제 사이의 상호 교환 가능성은 무엇인가?

주요 결과

• TypeFly는 MiniSpec에서의 최적화된 토큰 사용과 효율적인 계획 생성 덕분에 LLM 서비스 비용과 작업 실행 시간을 모두 2배 이상 절감한다.
• MiniSpec 계획에 '쿼리' 기능을 포함시킴으로써 실행 중 LLM 참조가 가능해져 복잡한 작업의 성공률이 크게 향상된다.
• 소수의 예시를 사용한 프롬프트 엔지니어링이 핵심적이다. 이들을 제거하면 벤치마크 작업 전부에서 시스템이 실패함을 입증하며, 안정적인 LLM 출력을 확보하기 위해 필수적임을 보여준다.
• MiniSpec 인터프리터는 잘못된 형식이나 위험한 코드를 성공적으로 검증하고 실행을 방지하여 시스템의 보안성과 신뢰성을 강화한다.
• 현장 기반 비전 처리와 현장 계획 기능이 악조건의 시각 조건에서도 높은 성능을 유지함을 입증했지만, YOLO의 정확도는 저조도 환경에서 저하됨을 확인했다.
• ‘신뢰하되 검증하라’는 접근 방식—즉, LLM이 생성한 코드를 공식적인 인터프리터로 검증하는 방식—이 통제되지 않은 코드 실행 위험을 효과적으로 완화하는 데 성공적임을 입증했다.