[논문 리뷰] LLM2Swarm: Robot Swarms that Responsively Reason, Plan, and Collaborate through LLMs

Volker Strobel, Marco Dorigo외 1명|arXiv (Cornell University)|2024. 10. 15.

Modular Robots and Swarm Intelligence인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(LLM)을 로봇 군집에 통합하기 위한 프레임워크인 LLM2Swarm을 소개한다. 두 가지 접근 방식을 통해 구현되며, 간접 통합을 통해 자동으로 컨트롤러를 합성하고, 직접 통합을 통해 현장에서 자연어 기반의 추론, 계획 수립 및 협업을 가능하게 한다. 주요 기여는 시뮬레이션 및 초도 하드웨어 테스트에서 LLM이 응답성 있고 적응력 있으며 인간이 이해할 수 있는 군집 행동을 가능하게 함을 보여주는 것으로, 사전에 작업에 특화된 프로그래밍 없이도 이상 탐지 및 자연어 지시에 대한 따라하기가 가능하다.

ABSTRACT

Robot swarms are composed of many simple robots that communicate and collaborate to fulfill complex tasks. Robot controllers usually need to be specified by experts on a case-by-case basis via programming code. This process is time-consuming, prone to errors, and unable to take into account all situations that may be encountered during deployment. On the other hand, recent Large Language Models (LLMs) have demonstrated reasoning and planning capabilities, introduced new ways to interact with and program machines, and incorporate both domain-specific and commonsense knowledge. Hence, we propose to address the aforementioned challenges by integrating LLMs with robot swarms and show the potential in proofs of concept (showcases). For this integration, we explore two approaches. The first approach is 'indirect integration,' where LLMs are used to synthesize and validate the robot controllers. This approach may reduce development time and human error before deployment. Moreover, during deployment, it could be used for on-the-fly creation of new robot behaviors. The second approach is 'direct integration,' where each robot locally executes a separate LLM instance during deployment for robot-robot collaboration and human-swarm interaction. These local LLM instances enable each robot to reason, plan, and collaborate using natural language, as demonstrated in our showcases where the robots are able to detect a variety of anomalies, without prior information about the nature of these anomalies. To enable further research on our mainly conceptual contribution, we release the software and videos for our LLM2Swarm system: https://github.com/Pold87/LLM2Swarm.

연구 동기 및 목표

• 기존의 로봇 군집 프로그래밍 방식의 한계를 해결하기 위해, 이는 시간이 많이 들고 실수가 많으며 예기치 않은 상황에 유연하지 못하다.
• 자연어를 통해 LLM이 로봇 군집의 자율성, 적응성 및 인간-군집 상호작용을 어떻게 향상시킬 수 있는지 탐색한다.
• LLM이 사전에 그 성격을 알지 못한 채 다양한 이상을 탐지할 수 있도록 할 수 있는지 입증한다.
• 전문가가 아닌 인간 운영자가 자연어를 사용해 지시와 상태 질의를 통해 군집과 효과적으로 상호작용할 수 있도록 한다.
• LLM 통합 로봇 군집 로보틱스 분야의 연구를 가속화하기 위해 오픈소스 소프트웨어와 영상 시연를 공개한다.

제안 방법

• 간접 통합: 강력한 LLM을 사용해 컨트롤러를 사전에 합성하고 검증함으로써 수동 프로그래밍과 오류율을 감소시킴.
• 직접 통합: 각 로봇에 경량 LLM 인스턴스를 현장에 배포하여 실시간 추론, 계획 수립 및 협업을 가능하게 함.
• ARGoS에서 시스템을 시뮬레이션하여, 각 로봇에 경량 LLM을 할당해 실제 현장 실행을 모의함.
• 자연어 프롬프트를 통해 인간-군집 상호작용을 구현하며, LLM이 지시를 해석하고 응답 또는 행동을 생성함.
• 다양한 조건에서 컨트롤러 합성, 로봇 간 협업, 인간-군집 상호작용을 테스트하기 위한 색보를 설계함.
• 일반적인 프롬프트 하나로 다양한 시나리오에서 이상 탐지 기능을 수행하며, 사전 지정 없이 LLM의 일반 지식을 활용함.

Figure 1: Overview of LLM2Swarm – LLM-enabled robot swarms . LLM2Swarm involves four key system components: humans, LLMs, controllers, and platforms. Before mission start : a human designer uses both manual design and LLM2Swarm’s controller synthesis module (which prompts a powerful LLM) to generate

실험 결과

연구 질문

• RQ1 LLM은 전문 프로그래밍이 없이도 로봇 군집 컨트롤러를 효과적으로 합성할 수 있는가? 개발 시간 단축과 오류 감소 가능성을 보여주는가?
• RQ2 로봇에 설치된 로컬 LLM 인스턴스가 군집 구성원 간 실시간으로 자연어 기반의 추론, 계획 수립 및 협업을 가능하게 하는가?
• RQ3 LLM2Swarm는 하나의 일반 목적 프롬프트로 사전에 알려지지 않은 다양한 이상을 탐지하고 대응할 수 있는가?
• RQ4 전문가가 아닌 인간 운영자가 자연어를 사용해 지시와 상태 질의를 통해 로봇 군집과 효과적으로 상호작용할 수 있는가?
• RQ5 공동 지식 추론을 통해 LLM이 예측 불가능한 환경에서 군집의 자율성과 적응성을 얼마나 향상시킬 수 있는가?

주요 결과

• LLM2Swarm는 단일 프롬프트를 사용해 로봇 컨트롤러를 성공적으로 합성하여, 자동화되고 오류가 적은 컨트롤러 생성 잠재력을 입증함.
• 로컬 LLM을 탑재한 로봇들이 사전에 성격을 알지 못한 이상—센서 고장, 부상자 존재 등—을 탐지함으로써 효과적인 일반 지식 기반 추론을 수행함을 보여줌.
• 시스템은 자연어 기반의 인간-군집 상호작용을 가능하게 하여, 인간 운영자가 자연어로 지시를 내리고 상태 요약을 수신할 수 있음.
• 인간의 프롬프트에 응답해 군집이 목표 위치를 정확히 해석하고 이를 향해 이동함으로써 자연어에서 실행 가능한 명령어 생성 능력을 입증함.
• 로봇에 탑재된 경량 LLM은 임무 수행 중 실시간으로 새로운 컨트롤러를 생성할 수 있었으며, 이는 적응성 향상에 기여함.
• 소프트웨어와 영상 색보의 오픈소스 공개로 재현 가능성과 LLM 통합 로봇 군집 분야의 향후 연구를 가능하게 함.

Figure 3: System interactions for LLM2Swarm’s direct integration module. Using LLM2Swarm’s direct integration module, a robot’s controller is composed of two parts: a classical controller and an on-device LLM. As in traditional approaches, the classical controller manages the robot’s actuators and s