[논문 리뷰] OceanChat: Piloting Autonomous Underwater Vehicles in Natural Language

Ruochu Yang, Mengxue Hou외 2명|arXiv (Cornell University)|2023. 09. 27.

Underwater Vehicles and Communication Systems인용 수 5

한 줄 요약

OceanChat는 복잡하고 동적인 수중 환경에서 자율 수중 항공기(AUV)를 자연어로 제어할 수 있도록 하는 폐쇄형 루프, LLM 유도 작업 및 운동 계획 프레임워크를 제안한다. 대규모 언어 모델, 논리적 제약 조건이 있는 작업 계획, 센서 피드백을 통한 실시간 운동 계획을 통합함으로써, LLM-운동 계획 대비 계산 시간을 30% 감소시키면서도 산악 계곡 주행 임무에서 높은 성공률을 유지한다.

ABSTRACT

In the trending research of fusing Large Language Models (LLMs) and robotics, we aim to pave the way for innovative development of AI systems that can enable Autonomous Underwater Vehicles (AUVs) to seamlessly interact with humans in an intuitive manner. We propose OceanChat, a system that leverages a closed-loop LLM-guided task and motion planning framework to tackle AUV missions in the wild. LLMs translate an abstract human command into a high-level goal, while a task planner further grounds the goal into a task sequence with logical constraints. To assist the AUV with understanding the task sequence, we utilize a motion planner to incorporate real-time Lagrangian data streams received by the AUV, thus mapping the task sequence into an executable motion plan. Considering the highly dynamic and partially known nature of the underwater environment, an event-triggered replanning scheme is developed to enhance the system's robustness towards uncertainty. We also build a simulation platform HoloEco that generates photo-realistic simulation for a wide range of AUV applications. Experimental evaluation verifies that the proposed system can achieve improved performance in terms of both success rate and computation time. Project website: \url{https://sites.google.com/view/oceanchat}

연구 동기 및 목표

• 비기술자 사용자가 전문 공학 지식에 의존하지 않고 자연어 명령어로 AUV를 조종할 수 있도록 하기 위해.
• 부분적으로 관찰 가능한 동적인 수중 환경에서 추상적 언어 지시어를 실행 가능한 로봇 동작으로 구체화하는 도전 과제를 해결하기 위해.
• 실시간 센서 피드백을 활용한 이벤트 기반 재계획을 통해 실행 실패에 대한 시스템의 강건성을 향상시키기 위해.
• 다양한 조건에서 AUV 임무 성능을 평가하기 위한 사진 수준의 현실감 있는 시뮬레이션 플랫폼(HoloEco)을 개발하기 위해.
• LLM, 작업 계획기, 운동 계획기를 통합한 계층적 폐쇄형 계획 프레임워크를 구축하여 신뢰성 있는 AUV 운영을 보장하기 위해.

제안 방법

• 시스템은 세 단계 프레임워크를 사용한다: LLM이 자연어 명령어를 고수준 목표로 해석하고, 작업 계획기가 논리적 제약 조건이 있는 동작 시퀀스를 생성하며, 운동 계획기가 실행 가능한 궤적을 계산한다.
• 실시간 라그랑주 데이터 스트림(예: 깊이 맵, 레이저 거리)은 운동 계획기가 동적 수평 내에서 충돌 없는 최적의 운동 계획을 생성하는 데 사용된다.
• 이벤트 기반 재계획 메커니즘은 레이저 거리 센서를 활용해 충돌을 감지하고 필요에 따라 계획 재생성을 유도함으로써 강건성을 확보한다.
• 운동 계획기는 도달 거리와 목표 지점까지의 근접도를 조합한 A* 기반 휴리스틱을 사용하여 경로 선택을 최적화한다.
• 사용자 정의 시뮬레이션 플랫폼인 HoloEco는 평가를 위해 캘리브레이션된 AUV 모델(EcoMapper)을 갖춘 사진 수준의 현실감 있는 수중 환경을 생성한다.
• 시스템은 실시간 관측 기반으로 환경 인식을 수행하는 PDDL 기반 작업 계획과 통합되어, 관찰 결과에 따라 계획을 정밀하게 보완한다.

Figure 1 : Our proposed system OceanChat can decompose natural language commands into a task sequence of controlling EcoMapper in the HoloEco simulation platform. We establish a three-level framework of LLM-guided task and motion planner. The event-triggered replanning module is designed to withstan

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 비정형 수중 환경에서 AUV 임무의 자연어 명령어를 고수준 목표로 효과적으로 번역할 수 있는가?
• RQ2 논리적 제약 조건이 있는 작업 계획은 로봇 시스템에서 LLM이 생성한 계획의 신뢰성과 실행 가능성에 어떻게 기여하는가?
• RQ3 실시간 센서 피드백과 이벤트 기반 재계획은 부분적으로 관찰 가능한 동적 수중 환경에서의 시스템 강건성에 얼마나 기여하는가?
• RQ4 LLM, 작업 계획, 운동 계획을 통합할 때 계산 효율성과 성공률 사이의 상호 상충 관계는 어떠한가?
• RQ5 폐쇄형 루프 계획 프레임워크는 복잡한 AUV 임무에서 성공률와 실행 시간 측면에서 개방형 또는 LLM 전용 계획보다 뛰어나다고 할 수 있는가?

주요 결과

• 제안된 LLM-운동-작업 계획 프레임워크는 LLM-운동 계획과 유사한 성공률를 달성하지만, 계산 시간은 그의 30%에 불과하다.
• 시스템은 시뮬레이션에서 알려지지 않은 산악 계곡을 EcoMapper가 자연어 명령어로부터 자율적으로 주행하는 데 성공하여, 자연어 기반의 자율 실행 능력을 입증했다.
• 이벤트 기반 재계획은 예기치 못한 장애물과 센서 오류에 대한 회복 능력을 크게 향상시켜 실행 실패에 대한 회복 능력을 강화한다.
• 작업 계획 통합으로 인해 운동 계획기의 부담이 감소하여 목표를 실행 가능한 동작 시퀀스로 구체화함으로써 계획 효율성이 향상된다.
• HoloEco 시뮬레이션 플랫폼은 사진 수준의 현실감 있는 렌더링과 센서 모델링을 지원하여 AUV 임무의 현실적인 평가를 가능하게 하며, 다양한 수중 응용 분야를 지원한다.
• 직접적인 LLM 계획 대비, 제안된 방법은 물리적 및 논리적 제약 조건을 통합함으로써 실행 불가능한 동작 시퀀스를 방지하여 계획의 실행 가능성을 보장한다.

Figure 2 : Framework of closed-loop LLM-guided task and motion planning. The high-level LLM planner composes an overall goal by precisely comprehending the human command in the context of underwater scenes. The middle-level task planner generates a logical sequence of tasks to achieve the overall go