[논문 리뷰] DynaCon: Dynamic Robot Planner with Contextual Awareness via LLMs

Gyeongmin Kim, Tae-Hyeon Kim외 4명|arXiv (Cornell University)|2023. 09. 27.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

DynaCon는 맵 없이도 맵 기반의 환경 인식을 가능하게 하는 새로운 동적 로봇 계획 시스템이다. 대규모 언어 모델(Large Language Models, LLMs)을 활용해 맥락 인식 능력을 갖추고, 실시간 객체 피드백, 구조적 프롬프트 엔지니어링, ROS 기반의 계획 기술을 결합하여 분류 기반 추론에서 62.5%의 성공률과 패턴 기반 추론에서 거의 완벽한 성능을 달성하였다. 이는 미지 환경에서 LLM 기반의 맥락 인식 경로 계획이 가능하다는 것을 보여준다.

ABSTRACT

Mobile robots often rely on pre-existing maps for effective path planning and navigation. However, when these maps are unavailable, particularly in unfamiliar environments, a different approach become essential. This paper introduces DynaCon, a novel system designed to provide mobile robots with contextual awareness and dynamic adaptability during navigation, eliminating the reliance of traditional maps. DynaCon integrates real-time feedback with an object server, prompt engineering, and navigation modules. By harnessing the capabilities of Large Language Models (LLMs), DynaCon not only understands patterns within given numeric series but also excels at categorizing objects into matched spaces. This facilitates dynamic path planner imbued with contextual awareness. We validated the effectiveness of DynaCon through an experiment where a robot successfully navigated to its goal using reasoning. Source code and experiment videos for this work can be found at: https://sites.google.com/view/dynacon.

연구 동기 및 목표

• 기존 지도 없이도 모바일 로봇이 미지 환경에서 효과적으로 주행할 수 있도록 하는 것.
• 자연어 기반 기술을 활용해 LLM을 통해 맥락 기반 주행 목표를 유추함으로써 맥락 인식 주행의 과제를 해결하는 것.
• 실시간 피드백 기반의 시스템을 개발하여 객체 인식과 주행 결정을 동적으로 갱신하는 것.
• 구조적 LLM 프롬프트를 활용해 패턴 기반 및 분류 기반 추론을 통해 로봇의 적응 능력을 향상시키는 것.
• LLM 추론을 ROS 기반 주행 시스템과 통합하여 실시간 반응성과 충돌 회피를 보장하는 것.

제안 방법

• 지속적으로 감지된 객체 목록과 로봇의 현재 위치를 업데이트하는 객체 서버를 구현한다.
• 역할(Role), 주요 작업(Main Task), 지시(Instruktion) 구성 요소를 포함한 구조적 프롬프트 엔지니어링 프레임워크를 설계하여 LLM 추론를 이끌어낸다.
• LLM을 활용해 두 가지 유형의 추론을 수행한다: 패턴 기반(예: 숫자 데이터의 순서 식별) 및 분류 기반(예: 맥락에 따라 객체를 방에 할당하는 것).
• LLM의 출력을 ROS move_base 주행 스택과 통합하여 운동 계획을 실행한다.
• 확장성과 맞춤화를 위해 피드백, 프롬프트 엔지니어링, 주행 기능을 모듈화된 구성 요소로 분리한다.
• 초기 객체 목록에 누락이 있을 경우 실시간 피드백을 활용해 경로를 반복적으로 수정함으로써 주행 오류를 수정한다.

Figure 1 : Given input sentences, DynaCon can estimate goals through either pattern-based reasoning (top: identifying patterns within numerical sequences) or categorical reasoning (bottom: categorizing objects into specific rooms). In both scenarios, DynaCon can execute navigation with periodic upda

실험 결과

연구 질문

• RQ1 LLM은 사전 지도 없이도 미지 환경에서 효과적인 경로 계획을 수행할 수 있는가?
• RQ2 LLM은 로봇 주행을 위한 패턴 기반 추론과 분류 기반 추론 중 어느 쪽에서 더 우수한 성능을 보이는가?
• RQ3 실시간 객체 피드백은 동적 환경에서 주행 오류를 수정하는 데 어떤 영향을 미치는가?
• RQ4 구조적 프롬프트 엔지니어링은 로봇 주행 작업에 대한 LLM 추론을 어떻게 향상시키는가?
• RQ5 LLM 기반 주행의 실패 유형은 무엇이며, 피드백과 간접 추론을 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• DynaCon는 여덟 가지 테스트 시나리오에서 분류 기반 추론 작업에 대해 62.5%의 성공률을 기록하였으며, 실패의 주요 원인은 초기 객체 목록이 불완전했기 때문이다.
• 시스템은 패턴 기반 추론에서 거의 완벽한 성능을 보였으며, 객체가 감지되지 않더라도 숫자 시퀀스 패턴을 기반으로 목표 지점으로 성공적으로 주행하였다.
• 실시간 피드백 덕분에 실패 사례에서 경로 수정이 가능했으며, 예를 들어 테스트 7에서는 객체 목록에 냉장고가 추가된 후 로봇이 주방에 성공적으로 도착하였다.
• 방이 분리되어 있지 않은 하우스 2에서는 객체 감지 가능성 향상으로 인해 실패가 발생하지 않아 환경의 구조적 특성이 성능에 미치는 영향을 확인할 수 있었다.
• 분류 기반 추론에서 성능이 낮은 것은 고차원 추론이 필요하고, 객체 카테고리 간 일관된 규칙가 부족하기 때문이었다.
• 본 연구는 관련 없거나 거리가 먼 객체에서 목표를 유추하는 간접 추론이 강력한 맥락 기반 주행을 위한 향후 개선이 필요한 핵심 과제로 지목하였다.

Figure 2 : An overview of DynaCon’s structure: Within the subsections of real-time feedback, prompt engineering, and navigation task, DynaCon processes task inputs, recognizes objects from the environment in real-time, and performs navigation towards the desired object by reasoning based on designed