[논문 리뷰] Bridging Language and Action: A Survey of Language-Conditioned Robot Manipulation

Xiangtong Yao, Hongkuan Zhou외 13명|ArXiv.org|2023. 12. 17.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 종합 검토는 언어 조건부 로봇 조작 기술을 체계적으로 분석하며, 언어가 인식, 계획, 제어에 어떻게 통합되는지에 따라 분류한다 — 상태 평가를 위한 언어에서부터 통합된 시각-언어-행동 모델에 이르기까지. 이 리뷰는 핵심 트렌드를 파악하고 15개 이상의 모델에 대한 성능을 평가하며, 일반화 및 안전성과 관련된 열린 과제를 제시한다.

ABSTRACT

Language-conditioned robot manipulation is an emerging field aimed at enabling seamless communication and cooperation between humans and robotic agents by teaching robots to comprehend and execute instructions conveyed in natural language. This interdisciplinary area integrates scene understanding, language processing, and policy learning to bridge the gap between human instructions and robot actions. In this comprehensive survey, we systematically explore recent advancements in language-conditioned robot manipulation. We categorize existing methods based on the primary ways language is integrated into the robot system, namely language for state evaluation, language as a policy condition, language for cognitive planning and reasoning, and language in unified vision-language-action models. Specifically, we further analyze state-of-the-art techniques from five axes of action granularity, data and supervision regimes, system cost and latency, environments and evaluations, and cross-modal task specification. Additionally, we highlight the key debates in the field. Finally, we discuss open challenges and future research directions, focusing on potentially enhancing generalization capabilities and addressing safety issues in language-conditioned robot manipulators.

연구 동기 및 목표

• 언어 조건부 로봇 조작 분야의 최근 발전을 네 가지 통합 패러다임(상태 평가를 위한 언어, 정책 조건화, 인지적 계획, 통합된 시각-언어-행동 모델)에 따라 체계적으로 분류하고 분석하는 것.
• 행동의 세분성, 데이터 및 감독 제도, 시스템 비용 및 지연, 환경 및 평가 프로토콜, 작업 명세 등 다섯 가지 축을 기반으로 최신 모델의 성능을 평가하는 것.
• 대규모 언어 모델의 역할과 종단 간 학습과 모odu lar 아키텍처 간의 상충 관계를 둘러싼 핵심 논쟁을 식별하는 것.
• 언어 조건부 조작 기계의 일반화, 안전성, 실세계 적용과 관련된 열린 과제를 부각하는 것.
• 관찰 모odalities, 행동 생성 방식, 사전학습 데이터 등 설계 차원을 포함한 15개 이상의 시각-언어-행동(VLA) 모델에 대한 체계적인 개요를 제공하는 것.

제안 방법

• 기존 방법을 네 가지 주요 통합 방식으로 분류: 상태 평가를 위한 언어, 정책 조건화로 사용하는 언어, 인지적 추론을 위한 언어, 통합된 시각-언어-행동(VLA) 모델.
• 다중 축 평가 프레임워크를 제안하며, 행동의 세분성(예: 이산적 vs. 연속적), 데이터 및 감독 제도(예: 모방 학습, 강화 학습, 자기지도 학습), 시스템 비용 및 지연, 환경(시뮬레이션 대비 실제 환경), 작업 명세(예: 제로샷, 소수 샘플) 등 다섯 가지 차원을 포함.
• 표준화된 표(표 10)를 사용해 15개 이상의 최신 VLA 모델을 분석하며, 핵심 설계 선택 사항을 기록: 관찰 모odalities(색상, 깊이, 체감, 텍스트), 행동 생성 방식(확산, 유량 매칭, 자동회귀, 직접 예측), 내부 정책 메커니즘(사고의 사슬, 메모리, 미래 예측), 사전학습 데이터(다중 데이터셋, 교차 기구).
• 벤치마크 및 실세계 적용에서의 모델 성능을 평가하며, 다-scenario 테스트(MS), 실세계 적용(RW), 교차 기구 실행(CE)을 구분.
• 기초 모델(Large Language Models, Vision-Language Models 등)과 신경-기호 아키텍처의 통합을 통해 추론 능력과 제로샷 일반화를 가능하게 하는 역할을 평가.
• 확산 기반 행동 생성, 궤도 최적화를 위한 유량 매칭, 장기 목표 작업을 위한 메모리 보강 정책 등의 아키텍처 혁신을 논의.

실험 결과

연구 질문

• RQ1 다양한 방법들이 로봇 인식, 계획, 제어에 언어를 어떻게 통합하는가? 각 접근 방식의 강점과 한계는 무엇인가?
• RQ2 관찰 모odalities, 행동 생성 방식, 사전학습 전략 측면에서 시각-언어-행동 모델의 핵심 설계 상충 관계는 무엇인가?
• RQ3 현재 모델들은 작업, 환경, 로봇 기구에 걸쳐 어떻게 일반화되는가? 제로샷 또는 소수 샘플 전이 성능에 영향을 주는 요소는 무엇인가?
• RQ4 언어 조건부 조작 기계 학습에 주로 사용되는 데이터 및 감독 제도는 무엇이며, 이는 모델의 강건성과 효율성에 어떤 영향을 미치는가?
• RQ5 언어 조건부 로봇 시스템의 안전성, 실세계 적용, 장기 목표 작업 수행과 관련된 주요 열린 과제는 무엇인가?

주요 결과

• 특히 확산 또는 유량 매칭을 사용하는 행동 생성 방식을 채택한 통합된 시각-언어-행동(VLA) 모델은 다양한 작업과 환경에서 뛰어난 제로샷 일반화 성능을 보인다.
• 다양한 기구 간 데이터로 사전학습한 모델(CE)은 단일 기구 데이터로 학습한 모델보다 훨씬 뛰어난 이식성과 성능을 보이며, 예측 불가능한 기구 플랫폼으로의 전이 능력이 뛰어나다.
• VLA 정책에 사고의 사슬(CoT) 및 미래 예측(FP) 메커니즘이 통합될 경우 추론 능력이 향상되어 장기 목표 작업의 분해 능력이 향상된다.
• 실세계 적용은 여전히 주요 난제로 남아 있다: 많은 모델이 시뮬레이션에서 높은 성공률(예: LoHoVLA 및 DexVLA에서 85% 이상)을 달성하지만, 실세계 성능은 평균 15–30% 감소한다. 이는 시뮬레이션에서 실세계로의 격차 때문이다.
• 행동 생성에 자동회귀 또는 직접 예측 방식을 사용하는 모델는 확산 기반 모델보다 낮은 추론 지연을 보이며, 실시간 제어에 더 적합하다.
• ForceVLA 및 Tactile-VLA와 같은 모델에서 촉각 또는 힘 감지 기능을 통합함으로써, 특히 저시야 또는 비정형 환경에서의 조작 강건성이 향상된다.