[論文レビュー] Swarm-GPT: Combining Large Language Models with Safe Motion Planning for Robot Choreography Design

Aoran Jiao, Tanmay P. Patel+7 more|arXiv (Cornell University)|Dec 2, 2023

Robotic Path Planning Algorithms被引用数 5

ひとこと要約

Swarm-GPT は、大規模言語モデル（LLM）とモデルベースの安全な運動計画を統合することで、非専門家ユーザーが自然言語による指示によって同期的で衝突のないドローン群のパフォーマンスを生成できる新しいシステムである。音声特徴を抽出して LLM にプロンプトし、生成された経路点を分散型トラジェクトリープランナーで精錬することで、リアルタイムで安全かつ表現的なドローンパフォーマンスを実現し、シミュレーションから実世界への移行における平均 sim-to-real RMSE は 28.7 mm を達成した。

ABSTRACT

This paper presents Swarm-GPT, a system that integrates large language models (LLMs) with safe swarm motion planning - offering an automated and novel approach to deployable drone swarm choreography. Swarm-GPT enables users to automatically generate synchronized drone performances through natural language instructions. With an emphasis on safety and creativity, Swarm-GPT addresses a critical gap in the field of drone choreography by integrating the creative power of generative models with the effectiveness and safety of model-based planning algorithms. This goal is achieved by prompting the LLM to generate a unique set of waypoints based on extracted audio data. A trajectory planner processes these waypoints to guarantee collision-free and feasible motion. Results can be viewed in simulation prior to execution and modified through dynamic re-prompting. Sim-to-real transfer experiments demonstrate Swarm-GPT's ability to accurately replicate simulated drone trajectories, with a mean sim-to-real root mean square error (RMSE) of 28.7 mm. To date, Swarm-GPT has been successfully showcased at three live events, exemplifying safe real-world deployment of pre-trained models.

研究の動機と目的

• 非専門家ユーザーが自然言語による指示によって、複雑で同期的なドローン群のパフォーマンスを設計できるようにすること。
• 高水準な言語ベースの振り付け生成と低水準な安全なロボット制御の間のギャップを埋めること。
• 統合された安全フィルタを用いて、衝突のない、運動学的に実現可能な、音楽に同期したドローンの軌道を保証すること。
• 実世界のドローン群実験において、LLM が生成した軌道の信頼性あるシミュレーションから実世界への移行を実証すること。

提案手法

• システムは、音楽から抽出した音声特徴に基づいて、大規模言語モデル（LLM）を用いてドローンの経路点を生成する。
• 分散型でモデルベースのトラジェクトリープランナー（AM-Swarm）が、LLM が生成した経路点を処理し、運動学的実現可能性、衝突回避、滑らかさを確保する。
• 目的関数にゴール項と滑らかさ項を含み、位置、速度、加速度、ドローン間の距離に関する制約の下で、交互最小化法により最適化を行う。
• 制約には、位置、速度、加速度の上限値に加え、段階的かつ慎重な衝突回避を促すバリア関数が含まれる。
• シミュレーションおよび制御周波数で軌道を再サンプリングし、リアルタイムでの正確な実装を実現する。
• シミュレーションから実世界への検証には、gym-pybullet-drones シミュレーション環境を用い、軌道の忠実度を検証した。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、専門家の介入なしに、表現的で音楽に同期したドローン群のパフォーマンスを効果的に生成できるか？
• RQ2 LLM が生成した軌道は、実世界のドローン群に対して安全に、実現可能で衝突のない運動にどのように変換できるか？
• RQ3 モデルベースの安全フィルタを用いて、LLM が駆動する振り付けを実装する際、どの程度のシミュレーションから実世界への精度が達成できるか？
• RQ4 システムは、パフォーマンス中における動的な再プロンプトとリアルタイムでの振り付けの変更をサポートできるか？

主な発見

• Swarm-GPT は、テストされた全軌道において、平均 sim-to-real ルート・マンスリー・二乗誤差（RMSE）が 28.7 mm に達し、実世界への展開における高い忠実度を示した。
• システムは、6機および9機のドローン群を音楽のビートに同期させ、シミュレーションおよび実世界の実験で視覚的に表現的でダイナミックな編成を生成した。
• 複数のビート間隔にわたり、編成の同期が視覚的に確認された。色のグラデーションにより、時間の経過と明確に区別されたドローンの個体識別が示された。
• システムは3回のライブイベントに成功裏に導入され、その耐障害性と実世界への適用可能性が検証された。
• LLM と安全意識のある運動計画器の統合により、手動のチューニングを必要とせず、安全でスケーラブルかつ直感的な振り付け生成が可能になった。
• γ = 0.5 に設定したバリア関数の使用により、動的移動中の安全マージンが向上し、段階的かつ慎重な衝突回避が実現された。