[논문 리뷰] WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model

Tianyu Wang, Yifan Li외 3명|arXiv (Cornell University)|2023. 08. 30.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 대화형 상호작용, 시각-언어 정렬, 정밀한 6-자유도 집게 동작을 통해 다중 라운드 자연어 지시를 이해하고 실행할 수 있도록 하는 로봇 시스템 WALL-E를 제안한다. 이 프레임워크는 LLM 기반 대화, 시각적 기반, 로봇 운동 계획을 통해 실제 환경에서 84% 이상의 성공률을 달성하여 서비스 로봇 분야에서 향상된 인간-로봇 상호작용을 구현한다.

ABSTRACT

Enabling robots to understand language instructions and react accordingly to visual perception has been a long-standing goal in the robotics research community. Achieving this goal requires cutting-edge advances in natural language processing, computer vision, and robotics engineering. Thus, this paper mainly investigates the potential of integrating the most recent Large Language Models (LLMs) and existing visual grounding and robotic grasping system to enhance the effectiveness of the human-robot interaction. We introduce the WALL-E (Embodied Robotic WAiter load lifting with Large Language model) as an example of this integration. The system utilizes the LLM of ChatGPT to summarize the preference object of the users as a target instruction via the multi-round interactive dialogue. The target instruction is then forwarded to a visual grounding system for object pose and size estimation, following which the robot grasps the object accordingly. We deploy this LLM-empowered system on the physical robot to provide a more user-friendly interface for the instruction-guided grasping task. The further experimental results on various real-world scenarios demonstrated the feasibility and efficacy of our proposed framework. See the project website at: https://star-uu-wang.github.io/WALL-E/

연구 동기 및 목표

• 대화 기반 상호작용을 통해 장기간이고 다중 라운드인 자연어 지시를 이해하고 실행할 수 있도록 로봇을 가능하게 하기.
• 시각-언어 기반을 활용해 고수준의 언어 지시를 저수준의 로봇 동작과 정렬하는 데 도전하는 문제 해결.
• 대화 기반 작업 실행 시 맥락 기억과 피드백 루프를 통합함으로써 인간-로봇 상호작용을 향상시키기.
• 실제 환경에 구현 가능한, 상용 LLM과 시각 기반, 로봇 집게 시스템을 통합하는 것의 타당성 평가하기.
• 복잡하고 동적인 환경에서 메모리 혼동과 시각 기반 오류와 같은 실패 유형 규명하기.

제안 방법

• 맥락 기억을 활용한 다중 라운드 상호작용을 통해 사용자 선호도를 요약하여 목표 지시로 변환하는 데 ChatGPT를 대화 엔진으로 활용.
• DINO, SAM, SAR-Net을 조합한 9차원 시각 기반 시스템을 활용해 자연어 지시 기반으로 6-자유도 물체 자세와 3차원 크기를 예측.
• 시각-언어 모델을 통합하여 LLM 출력을 정밀한 로봇 집게 자세로 매핑함으로써 정확한 물체 정위치 결정 가능하게 구현.
• 사용자가 각 집게 시도 후 상태 업데이트를 제공하는 피드백 루프를 구현하여 LLM이 이후 지시를 보완할 수 있도록 함.
• LLM의 추론을 제약하고 기반 정확도를 향상시키기 위해 사전 형식의 환경 상태를 사용.
• 예측된 6-자유도 자세와 크기를 기반으로 운동 계획을 실행하며 충돌 및 역기구학적 검사를 통해 실행 가능성 확보.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(LLM)은 복잡하고 다중 전환된 인간 선호도를 효과적으로 액션 가능한 로봇 지시로 요약할 수 있는가?
• RQ2 LLM이 생성한 지시 기반으로 시각-언어 모델이 혼잡한 환경에서 물체를 얼마나 정확히 기반으로 삼을 수 있는가?
• RQ3 장기적인 인간-로봇 대화를 위한 작업 실행에서 LLM의 메모리 및 맥락 유지 능력이 미치는 영향은 무엇인가?
• RQ4 특히 시각 기반과 운동 계획 측면에서 LLM-로봇 집게 파이프라인의 주요 실패 유형은 무엇인가?
• RQ5 LLM 통합이 실제 환경에서 지시 기반 로봇 집게의 성공률과 사용성에 얼마나 기여하는가?

주요 결과

• LLM은 단일 사용자와의 다중 라운드 대화에서 지시 대상 설정에 대해 91.11%의 성공률를 기록하여 강력한 대화 및 기억 능력을 입증하였다.
• 시각 기반 시스템은 정확한 2D 마스크와 3D 경계 상자 생성에 대해 88.89%의 성공률를 달성하여 혼잡한 장면에서도 정확한 집게 계획 수립 가능.
• 모든 시험에서 최종 집게 성공률는 68.89%였으며, 주로 집게-물체 충돌과 실행 불가능한 역기구학적 문제로 인한 실패 발생.
• 실패 분석 결과, '목표 놓침' 오류—메모리 혼동 또는 이해 혼동으로 인한 것—이 지시 정렬 오류의 주요 원인으로 확인됨.
• 자유형 언어 입력과 동적 피드백 처리에 있어 뛰어난 강건성을 보였지만, 사용자 수 증가에 따라 메모리 제한으로 인해 성능 저하 발생.
• 정성적 결과는 9D 기반-SAM 모듈이 복잡하고 무작위로 배열된 작업 환경에서도 정밀한 추론을 가능하게 했음을 확인하였지만, 반사성 또는 투명한 재료에서는 깊이 감지 문제로 정확도에 영향을 미침.