[논문 리뷰] Empowering Large Language Models on Robotic Manipulation with Affordance Prompting

Guangran Cheng, Chuheng Zhang외 4명|arXiv (Cornell University)|2024. 04. 17.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 물리적 현실에서 고수준 계획과 저수준 제어 시퀀스를 정착시키기 위해 접근성 프롬프팅을 사용하는 훈련 없음 프레임워크인 LLM+A를 제안한다. LLM에 동작 결과를 예측하고 물체에 접근성 값을 할당하도록 프롬프팅하여, 미세조정 없이 다양한 작업에서 80-96%의 성공률을 달성하며 계획의 타당성과 일반화 능력을 크게 향상시킨다.

ABSTRACT

While large language models (LLMs) are successful in completing various language processing tasks, they easily fail to interact with the physical world by generating control sequences properly. We find that the main reason is that LLMs are not grounded in the physical world. Existing LLM-based approaches circumvent this problem by relying on additional pre-defined skills or pre-trained sub-policies, making it hard to adapt to new tasks. In contrast, we aim to address this problem and explore the possibility to prompt pre-trained LLMs to accomplish a series of robotic manipulation tasks in a training-free paradigm. Accordingly, we propose a framework called LLM+A(ffordance) where the LLM serves as both the sub-task planner (that generates high-level plans) and the motion controller (that generates low-level control sequences). To ground these plans and control sequences on the physical world, we develop the affordance prompting technique that stimulates the LLM to 1) predict the consequences of generated plans and 2) generate affordance values for relevant objects. Empirically, we evaluate the effectiveness of LLM+A in various language-conditioned robotic manipulation tasks, which show that our approach substantially improves performance by enhancing the feasibility of generated plans and control and can easily generalize to different environments.

연구 동기 및 목표

• 물리적 환경에 대한 정착이 부족하여 LLM이 실행 가능한 로봇 제어 시퀀스를 생성하지 못하는 문제를 해결하기 위해.
• 대규모 데이터셋이 필요한 사전 훈련된 스킬이나 엔드 투 엔드 미세조정된 모델에 의존하는 기존 LLM 기반 로봇 제어 방법의 한계를 극복하기 위해.
• 훈련 없음 원칙에서 LLM이 통합된 고수준 계획자이자 저수준 운동 제어자로 기능하도록 하기 위해.
• 접근성 프롬프팅을 통해 물리 세계 지식을 정착시켜 LLM이 생성한 계획의 타당성과 일반화 능력을 향상시키기 위해.
• 추가적인 미세조정 없이 LLM이 상호작용 결과와 작업에 특화된 접근성을 추론할 수 있음을 입증하여 새로운 환경과 로봇 형태로의 제로샷 전이를 가능하게 하기 위해.

제안 방법

• 언어 조건 기반 로봇 조작을 위한 사전 훈련된 LLM이 하위 작업 계획자이자 운동 제어자로 기능하는 LLM+A 프레임워크를 제안한다.
• 물체의 부분에 대해 동작 결과를 예측하고 접근성 값을 할당하도록 모델을 프롬프팅하여 물리 세계에 LLM 출력을 정착시키는 접근성 프롬프팅을 도입한다.
• 시각-언어 모델(Vision-Language Models, VLMs)을 사용해 환경 관측치를 추출하고, 이를 작업 지시와 함께 LLM에 입력한다.
• 이중 단계 프롬프팅 메커니즘을 설계한다: 첫 번째 단계에서 LLM은 하위 작업을 계획하고 결과를 예측하며, 두 번째 단계에서 접근성 인식 기반 추론을 바탕으로 저수준 제어 시퀀스를 생성한다.
• 다양한 작업과 로봇(예: xArm6 및 UR5e)에 동일한 프롬프트 템플릿을 적용하여 새로운 환경과 로봇 유형으로의 제로샷 일반화를 가능하게 한다.
• LLM의 인라인 학습을 활용해 미세조정 없이도 공간 관계, 물체의 功能적 부분, 물리적 상호작용 역학을 추론할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 접근성 프롬프팅을 통해 물리 세계 지식에 정착된 LLM이 미세조정 없이 실행 가능한 로봇 조작 계획을 생성할 수 있는가?
• RQ2 접근성 프롬프팅이 실제 로봇 작업에서 LLM이 생성한 계획과 제어 시퀀스의 타당성 향상에 얼마나 효과적인가?
• RQ3 LLM+A는 재훈련 없이 다양한 로봇 플랫폼, 환경, 작업 유형으로 얼마나 잘 일반화되는가?
• RQ4 LLM+A의 주요 실패 원인은 무엇이며, 이는 LLM의 접근성 예측 및 공간 추론 한계와 어떻게 관련되는가?
• RQ5 LLM은 프롬프팅만으로 작업에 특화된 상호작용 부위(예: 밀 수 있는 영역 대비 잡을 수 있는 영역)와 동작 결과를 추론할 수 있는가?

주요 결과

• LLM+A는 Towers-of-Hanoi-Seq 작업에서 96%의 성공률, CLIPORT의 Put-Block-in-Bowl 작업에서 95%의 성공률를 기록하여 복잡한 조작 작업에서 뛰어난 성능을 보였다.
• CLIPORT에서 다섯 가지 이질적인 작업에 대해 평균 85%의 성공률를 달성하여 다양한 로봇(UR5e)과 그립퍼(진공 흡착형 대비 종단 기구)로의 강력한 제로샷 일반화 능력을 입증했다.
• 실패 분석 결과, 실패의 4%만이 작업 계획 오류에서 기인하여, 접근성 프롬프팅을 통해 정착된 LLM이 고수준 추론에서 매우 효과적임을 시사한다.
• 가장 흔한 실패 유형은 접근성 예측(13%)과 운동 제어(13%)였으며, 특히 Block-to-Block과 같은 복잡한 물체 상호작용이 포함된 작업에서 두드러졌다.
• LLM+A는 사전 훈련된 스킬이나 미세조정된 정책에 대한 의존도를 크게 감소시켜 로봇 분야의 데이터 버틀넥 문제를 완화하는 훈련 없음 대안을 제공한다.
• 시각적 예시는 LLM이 물리적으로 관련된 부분(예: Towers-of-Hanoi의 상단 고리)에 더 높은 접근성 값을 할당함을 보여주어, 접근성 프롬프팅이 물리적 추론을 가능하게 함을 확인한다.