[논문 리뷰] Swarm-GPT: Combining Large Language Models with Safe Motion Planning for Robot Choreography Design

Aoran Jiao, Tanmay P. Patel외 7명|arXiv (Cornell University)|2023. 12. 02.

Robotic Path Planning Algorithms인용 수 5

한 줄 요약

Swarm-GPT는 대규모 언어 모델(Large Language Models, LLMs)과 기반 모델 기반 안전 운동 계획을 통합하여 비전문가 사용자가 자연어 지시어를 통해 동기화되고 충돌이 없는 드론 스웜 코딩을 생성할 수 있도록 하는 혁신적인 시스템이다. 음악의 음향 특징에서 LLM을 통해 웨이포인트를 생성하고, 분산된 궤적 계획기로 이를 정제함으로써 실시간으로 안전하고 표현력 있는 드론 공연를 구현하며, 시뮬레이션에서 실제 환경으로의 평균 sim-to-real RMSE는 28.7 mm를 기록하였다.

ABSTRACT

This paper presents Swarm-GPT, a system that integrates large language models (LLMs) with safe swarm motion planning - offering an automated and novel approach to deployable drone swarm choreography. Swarm-GPT enables users to automatically generate synchronized drone performances through natural language instructions. With an emphasis on safety and creativity, Swarm-GPT addresses a critical gap in the field of drone choreography by integrating the creative power of generative models with the effectiveness and safety of model-based planning algorithms. This goal is achieved by prompting the LLM to generate a unique set of waypoints based on extracted audio data. A trajectory planner processes these waypoints to guarantee collision-free and feasible motion. Results can be viewed in simulation prior to execution and modified through dynamic re-prompting. Sim-to-real transfer experiments demonstrate Swarm-GPT's ability to accurately replicate simulated drone trajectories, with a mean sim-to-real root mean square error (RMSE) of 28.7 mm. To date, Swarm-GPT has been successfully showcased at three live events, exemplifying safe real-world deployment of pre-trained models.

연구 동기 및 목표

• 비전문가 사용자가 자연어 지시어를 통해 복잡하고 동기화된 드론 스웜 공연를 설계할 수 있도록 하는 것.
• 고수준의 언어 기반 코딩 생성과 저수준의 안전한 로봇 제어 사이의 격차를 메우는 것.
• 통합된 안전 필터링을 통해 충돌이 없고 운동학적으로 가능하며 음악에 동기화된 드론 궤적을 보장하는 것.
• 실세계 드론 스웜 실험에서 LLM이 생성한 궤적의 신뢰성 있는 sim-to-real 전이를 보여주는 것.

제안 방법

• 시스템은 음악에서 추출한 음향 특징을 기반으로 대규모 언어 모델(LLM)을 사용해 고유한 드론 웨이포인트를 생성한다.
• 분산형 기반 모델 궤적 계획기(AM-Swarm)는 LLM이 생성한 웨이포인트를 처리하여 운동학적 타당성, 충돌 회피, 부드러움을 확보한다.
• 계획기는 목표 및 부드러움 항목을 포함한 비용 함수를 사용하며, 위치, 속도, 가속도 및 드론 간 간격 제약 조건 하에서 교차 최적화 방식으로 최적화된다.
• 제약 조건은 위치, 속도, 가속도의 범위뿐만 아니라, 점진적이고 보수적인 충돌 회피를 위한 장벽 함수를 포함한다.
• 정확한 실시간 배포를 위해 시뮬레이션 및 제어 주파수에서 궤적을 재샘플링한다.
• 시뮬레이션에서 실제 환경으로의 검증은 궤적의 정확도를 검증하기 위해 gym-pybullet-drones 시뮬레이션 환경을 사용한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델이 전문가의 간섭 없이 표현력 있고 음악에 동기화된 드론 스웜 코딩을 효과적으로 생성할 수 있는가?
• RQ2 LLM이 생성한 궤적은 어떻게 실세계 드론 스웜의 실현 가능하고 충돌이 없는 운동으로 안전하게 변환될 수 있는가?
• RQ3 기반 모델 기반 안전 필터를 사용할 경우, LLM 기반 코딩을 구현할 때 시뮬레이션에서 실제 환경으로의 정확도는 어느 정도 달성될 수 있는가?
• RQ4 시스템은 공연 중 동적 재프롬프팅 및 실시간 코딩 수정을 지원할 수 있는가?

주요 결과

• Swarm-GPT는 테스트된 궤적 전반에서 평균 sim-to-real 루트 평균 제곱 오차(RMSE) 28.7 mm를 기록하여 실세계 구현에서 높은 정밀도를 입증하였다.
• 시스템은 6대 및 9대 드론 스웜을 음악 비트에 동기화하여 시각적으로 표현력 있고 역동적인 형성으로 구현하였으며, 시뮬레이션 및 실세계 실험에서 모두 성공적으로 확인되었다.
• 다양한 비트 간격 동안 형성 동기화가 시각적으로 확인되었으며, 색상 그라디언트를 통해 시간적 진행과 뚜렷한 드론 개별 식별성이 나타났다.
• 시스템은 세 차례의 라이브 이벤트에서 성공적으로 구현되어 내구성과 실세계 적용 가능성의 타당성을 입증하였다.
• LLM과 안전 인지 운동 계획기의 통합은 수동 튜닝 없이도 안전하고 확장 가능하며 직관적인 코딩 생성을 가능하게 하였다.
• γ = 0.5로 설정된 장벽 함수는 점진적이고 보수적인 충돌 회피를 가능하게 하여 동적 이동 중 안전 마진을 향상시켰다.