[논문 리뷰] Integration of Large Language Models within Cognitive Architectures for Autonomous Robots

Miguel Á. González-Santamarta, González-Fernández, Irene외 3명|arXiv (Cornell University)|2023. 09. 26.

AI-based Problem Solving and PlanningComputer Science인용 수 3

한 줄 요약

이 논문은 LLaMA 기반의 양자화된 대규모 언어 모델(LLM)을 ROS 2 도구인 llama_ros를 통해 MERLIN2인지 아키텍처에 통합하여 자율 로봇의 인지 능력을 향상시키는 것을 제안한다. 이는 기존의 PDDL 기반 계획 대신 LLM 기반 추론을 가능하게 한다. LLM은 자연어 상호작용과 유연성을 향상시키지만, 실험 결과 PDDL 기반 계획이 시간과 이동 거리 측면에서 훨씬 더 효율적임을 확인하였다. LLM은 임무 시나리오에서 평균 1.5배에서 3.2배 더 오랜 시간이 소요되었고, 이동 거리는 거의 두 배에 가까운 수준이었다.

ABSTRACT

Symbolic reasoning systems have been used in cognitive architectures to provide inference and planning capabilities. However, defining domains and problems has proven difficult and prone to errors. Moreover, Large Language Models (LLMs) have emerged as tools to process natural language for different tasks. In this paper, we propose the use of LLMs to tackle these problems. This way, this paper proposes the integration of LLMs in the ROS 2-integrated cognitive architecture MERLIN2 for autonomous robots. Specifically, we present the design, development and deployment of how to leverage the reasoning capabilities of LLMs inside the deliberative processes of MERLIN2. As a result, the deliberative system is updated from a PDDL-based planner system to a natural language planning system. This proposal is evaluated quantitatively and qualitatively, measuring the impact of incorporating the LLMs in the cognitive architecture. Results show that a classical approach achieves better performance but the proposed solution provides an enhanced interaction through natural language.

연구 동기 및 목표

• ROS 2를 사용하여 대규모 언어 모델(LLM)을 자율 로봇의 인지 아키텍처에 통합하는 것을 목적으로 한다.
• 통합형·효율적·이식 가능한 LLM 추론 도구를 개발하여 임베디드 로봇 시스템에 최적화한다.
• PDDL 기반 계획을 LLM 기반 추론으로 대체했을 때 의사결정 성능 및 시스템 효율성 측면에서의 영향을 평가한다.
• 실제 로봇 임무에서 LLM을 추론 엔진으로 사용할 수 있는지 탐색하며, 프롬프트 민감성 및 환각 현상 등의 과제를 해결한다.
• 연구자들이 양자화된 LLM을 로봇 소프트웨어 스택에 통합할 수 있도록 실용적이고 오픈소스 프레임워크(llama_ros)를 제공한다.

제안 방법

• Ggerganov의 llama.cpp 라이브러리에 GPU 지원 기능을 통합한 ROS 2 호환 도구인 llama_ros를 개발하여 효율적인 오프라인 LLM 추론을 가능하게 하였다.
• 사슬의 사고(Chain-of-Thought) 프롬프팅 전략을 사용하여 LLM을 MERLIN2 인지 아키텍처의 PDDL 기반 계획 레이어 대체로 통합하였다.
• 계산 및 메모리 요구량을 줄이기 위해 모델 양자화(GGUF 형식 등)를 적용하여 자원 제약이 있는 로봇 플랫폼에 배포 가능하게 하였다.
• 벡터 데이터베이스를 사용하여 세계 상태 정보를 저장하고 검색함으로써 프롬프트 길이를 단축하고 추론 중 검색 효율을 향상시켰다.
• 각 동작 후 목표 달성 여부를 LLM이 점검하는 피드백 루프를 설계하여 목표를 달성하지 못할 경우 재계획 수립이 가능하도록 하였다.
• RB1 로봇을 사용한 시뮬레이션 환경에서 통제된 실험을 수행하여 LLM 기반 계획(FI, NEI, NCGI, NENCGSI)과 원본 PDDL 기반 MERLIN2 시스템 간 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 LLM이 자율 로봇의 인지 아키텍처에서 PDDL 기반 계획을 효과적으로 대체할 수 있는가? 성능가능성이 유지되는가?
• RQ2 실행 시간과 경로 효율성 측면에서 LLM 기반 추론과 전통적인 PDDL 기반 계획 간의 정량적·정성적 트레이드오프는 어떠한가?
• RQ3 프롬프트 엔지니어링 및 벡터 데이터베이스의 사용이 로봇 의사결정에서 LLM 기반 추론의 신뢰성과 효율성에 어떤 영향을 미치는가?
• RQ4 목표 검증 과정에서 LLM이 환각 현상에 얼마나 많이 노출되는가? 이는 시스템의 강건성에 어떤 영향을 미치는가?
• RQ5 ROS 2를 사용하여 실시간 로봇 시스템에 양자화된 LLM을 효율적으로 구현할 수 있는가? 이를 뒷받침하기 위한 인프라는 무엇이 필요한가?

주요 결과

• 모든 LLM 기반 접근 방식이 PDDL 기반 MERLIN2 플래너보다 임무 시나리오에서 뚜렷하게 뒤져, 실행 시간이 1.5배에서 3.2배 더 오래 걸렸다.
• 미션 1에서 LLM 기반 FI 접근 방식은 평균 257.763초가 소요되었고, MERLIN2는 162.720초로 1.58배 더 오래 걸렸다.
• 미션 2에서 LLM 기반 NENCGSI 접근 방식은 평균 508.021초가 소요되었고, MERLIN2는 257.763초로 1.96배 더 오래 걸렸다.
• LLM 기반 시스템은 이동 거리가 크게 증가했다: 미션 1 평균 53.100m, 미션 2 평균 53.701m를 기록했지만, MERLIN2는 각각 62.957m와 53.100m를 기록하여 더 효율적인 주행이 이루어졌음을 시사한다.
• 벡터 데이터베이스를 사용한 NCGI 변종은 두 미션 모두 NEI 대비 1.2배 높은 실행 시간을 기록하여 검색 오버헤드가 지연을 증가시킴을 보여주었다.
• 양자화된 LLM은 정밀도가 높은 모델보다 프롬프트 변동에 더 민감하여 일관된 동작을 유지하기 위해 주의 깊은 프롬프트 엔지니어링이 필요함을 확인하였다.