[論文レビュー] TypeFly: Flying Drones with Large Language Model

Guojun Chen, Xiaojing Yu+2 more|arXiv (Cornell University)|Dec 8, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

TypeFly は、エッジビジョン処理、カスタム軽量プログラミング言語（MiniSpec）、および動的クエリ機能を備えた LLM ベースの計画を組み合わせることで、ドローンが自然言語で記述された複雑なタスクを実行できるエンドツーエンドのシステムである。本システムは、高度なプロンプト工学とランタイム LLM 参照用の「クエリ」スキルを活用することで、LLM サービスコストとタスク実行時間を 2 倍以上削減し、複雑なドローンタスクの成功確率を顕著に向上させる。

ABSTRACT

Recent advancements in robot control using large language models (LLMs) have demonstrated significant potential, primarily due to LLMs' capabilities to understand natural language commands and generate executable plans in various languages. However, in real-time and interactive applications involving mobile robots, particularly drones, the sequential token generation process inherent to LLMs introduces substantial latency, i.e. response time, in control plan generation. In this paper, we present a system called ChatFly that tackles this problem using a combination of a novel programming language called MiniSpec and its runtime to reduce the plan generation time and drone response time. That is, instead of asking an LLM to write a program (robotic plan) in the popular but verbose Python, ChatFly gets it to do it in MiniSpec specially designed for token efficiency and stream interpretation. Using a set of challenging drone tasks, we show that design choices made by ChatFly can reduce up to 62% response time and provide a more consistent user experience, enabling responsive and intelligent LLM-based drone control with efficient completion.

研究の動機と目的

• クラウドベースの画像送信に依存せずに、ドローンの自然言語制御をエンドツーエンドで実現すること。
• トークン出力を最小限に抑え、ビジョン処理をエッジデバイスにオフロードすることで、ドローンタスク計画における LLM 推論コストとレイテンシを低減すること。
• 新規のクエリメカニズムと構造化されたプロンプト工学を通じて、複雑なドローンタスクの信頼性と成功確率を向上させること。
• LLM 生成コードの直接実行を回避し、代わりに検証済みで最小限のドメイン特化言語（MiniSpec）を使用することで、システムの安全性を高めること。
• プライベートまたは動的環境でのリアルタイムドローン制御に LLM を導入する際のプライバシー、効率性、安全性の課題に対処すること。

提案手法

• TypeFly は、ドローンが撮影した画像を現地のエッジサーバーで自然言語によるシーン記述に変換することで、プライバシー保護と帯域幅の削減を実現する。
• 人間が読みやすく、機械が解釈可能なコンactで効率的な計画を生成できる、カスタムで最小限のプログラミング言語である MiniSpec を使用する。
• システムは、タスク実行中に遠隔 LLM を呼び出して動的意思決定を可能にする、MiniSpec に組み込まれた「クエリ」スキルを採用する。
• 少数の例示と構造化されたテンプレートを用いたプロンプト工学技術により、LLM が正しいかつ実行可能な MiniSpec 計画を生成するように誘導する。
• MiniSpec インタプリタが計画を検証・実行することで、不正なコードや危険なコードが実行されないよう防止する。
• リアルタイムのシーン理解のための YOLO に基づく物体検出を統合し、ビジョンエンコーダーの柔軟性により環境状態に動的に適応する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのプライバシーを保ちつつクラウドへのデータ送信を最小限に抑えることで、ドローンの自然言語制御をどのように実現できるか？
• RQ2 ドローンタスク計画における LLM 推論コストとレイテンシを顕著に低減するためのプログラミング言語およびプロンプト工学の設計選択は何か？
• RQ3 軽量でドメイン特化された言語（MiniSpec）は、LLM 生成ドローン制御計画の信頼性と安全性をどの程度向上できるか？
• RQ4 「クエリ」機能は、変化しやすい環境下で成功確率を向上させるために、ランタイムにおける LLM 参照をどの程度効果的に可能にするか？
• RQ5 リアルタイムでミッションクリティカルなドローンアプリケーションにおいて、ガイドラインと例示のどちらがプロンプト工学に適しているか、その妥当性のトレードオフは何か？

主な発見

• TypeFly は、最適化されたトークン使用と MiniSpec における効率的な計画生成により、LLM サービスコストとタスク実行時間を 2 倍以上削減した。
• MiniSpec 計画に「クエリ」スキルを組み込むことで、実行中における LLM 参照が可能になり、複雑なタスクの成功確率が顕著に向上した。
• 少々の例示を用いたプロンプト工学が不可欠である——例示を削除すると、すべてのベンチマークタスクでシステムが失敗するため、信頼性ある LLM 出力のためには必須であることが示された。
• MiniSpec インタプリタは、不正なコードや危険なコードの実行を効果的に検証・防止し、システムのセキュリティと信頼性を向上させた。
• エッジベースのビジョン処理と現地での計画処理は、悪条件の視覚的環境下でも高いパフォーマンスを維持しているが、YOLO の正確性は明るさに劣る条件下で低下する。
• 「信頼するが検証する」アプローチ——LLM 生成コードを形式的インタプリタで検証する——は、制御不能なコード実行のリスクを低減するのに効果的であることが実証された。