[논문 리뷰] Programmatically Grounded, Compositionally Generalizable Robotic Manipulation

Renhao Wang, Jiayuan Mao외 4명|arXiv (Cornell University)|2023. 04. 26.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 자연어 지시어를 조합적 문법 구문 분석(Combinatory Categorial Grammar, CCG)을 사용해 실행 가능한 프로그램으로 파싱함으로써 시각-언어 기반 인식과 작업별 정책 학습을 분리하는 프로그램 기반 모듈러 프레임워크인 programport를 제안한다. 전이 학습된 시각-언어 모델을 활용해 언어 개념과 동작을 전용 신경 모듈을 통해 기반화함으로써, 미학습된 물체-작업 조합에 대해 우수한 제로샷 및 복합 일반화 성능를 달성하며, 더 적은 데이터로도 표준 미세조정 기법을 능가한다.

ABSTRACT

Robots operating in the real world require both rich manipulation skills as well as the ability to semantically reason about when to apply those skills. Towards this goal, recent works have integrated semantic representations from large-scale pretrained vision-language (VL) models into manipulation models, imparting them with more general reasoning capabilities. However, we show that the conventional pretraining-finetuning pipeline for integrating such representations entangles the learning of domain-specific action information and domain-general visual information, leading to less data-efficient training and poor generalization to unseen objects and tasks. To this end, we propose ProgramPort, a modular approach to better leverage pretrained VL models by exploiting the syntactic and semantic structures of language instructions. Our framework uses a semantic parser to recover an executable program, composed of functional modules grounded on vision and action across different modalities. Each functional module is realized as a combination of deterministic computation and learnable neural networks. Program execution produces parameters to general manipulation primitives for a robotic end-effector. The entire modular network can be trained with end-to-end imitation learning objectives. Experiments show that our model successfully disentangles action and perception, translating to improved zero-shot and compositional generalization in a variety of manipulation behaviors. Project webpage at: \url{https://progport.github.io}.

연구 동기 및 목표

• 시각-언어(VL) 모델이 로봇 조작에서 인식과 제어를 동시에 학습함으로써 발생하는 열악한 제로샷 및 복합 일반화 성능를 해결하기 위해.
• 구조화된 프로그램 표현을 사용해 도메인 일반적인 시각 기반 인식과 도메인 특화된 정책 학습을 분리하기 위해.
• 모듈러이고 프로그램 실행 파이프라인을 통해 사전 학습된 시각-언어 모델을 활용해 데이터 효율성과 일반화 성능를 향상시키기 위해.
• 미세조정 없이도 새로운 물체와 조작 행동의 조합에 대해 강건한 추론을 가능하게 하기 위해.
• 도메인 특화 언어(DSL)와 실행 가능한 프로그램을 사용해 언어를 시각과 행동에 정확히 기반화하는 프레임워크를 개발하기 위해.

제안 방법

• 조합적 문법 구문 분석(Combinatory Categorial Grammar, CCG)을 사용해 자연어 지시어를 실행 가능한 조작 프로그램으로 파싱함으로써, 구조화된 의미 분석을 가능하게 한다.
• 시각 기반 인식(예: 카테고리 기반 물체 위치 탐색)과 동작 정책(예: 픽업/플레이스 자세 생성)을 위한 기능 모듈을 포함한 도메인 특화 언어(DSL)를 정의한다.
• 각 기능 모듈을 결정론적 계산과 학습 가능한 신경망의 하이브리드로 구현하여, 애널로그 학습 목표를 통해 엔드 투 엔드 학습이 가능하도록 한다.
• 사전 학습된 시각-언어 모델(예: CLIP)을 사용해 언어 기술자와 시각 입력 간의 기반 인식을 분리된 방식으로 수행함으로써, 작업별 정책과 독립적으로 수행한다.
• 추론 시점에 프로그램을 실행하여 시각 및 언어 입력에 기반해 로봇 프리미티브(예: 픽업, 플레이스)의 제어 파rameter를 생성한다.
• 전문가 시범 데이터 기반의 애널로그 학습을 통해 전체 모듈러 네트워크를 엔드 투 엔드로 학습시켜 데이터 효율적인 정책 학습을 가능하게 한다.

Figure 1: Zero-Shot and Compositional Generalization: Our framework, programport , is capable of generalizing to combinations of unseen objects and manipulation behaviors at test time.

실험 결과

연구 질문

• RQ1 표준 VL 모델의 미세조정 방식에 비해 프로그램 기반 모듈러 프레임워크가 로봇 조작에서 제로샷 일반화 성능를 향상시킬 수 있는가?
• RQ2 시각 기반 인식과 정책 학습을 분리함으로써 새로운 물체-작업 조합에 대해 더 나은 복합 일반화 성능를 달성할 수 있는가?
• RQ3 자연어에서 파생된 구조화된 프로그램 표현이 시각-언어 조작에서 기반 인식 정확도와 데이터 효율성을 향상시킬 수 있는가?
• RQ4 모델이 미세조정 없이도 새로운 물체 카테고리와 기존 개념의 새로운 조합에 얼마나 잘 일반화되는가?
• RQ5 외부 분포(out-of-distribution) 언어 및 시각 입력에 대해 프로그램 기반 기반 인식 방식은 엔드 투 엔드 미세조정 방식에 비해 얼마나 더 강건한가?

주요 결과

• 모델은 미세조정 없이도 알려지지 않은 물체와 조작 행동(예: 낯선 형태의 물체를 밀거나 놓는 것)의 조합에 대해 뚜렷한 제로샷 일반화 성능를 달성한다.
• programport는 더 적은 시범 데이터로도 성능이 뛰어난 애널로그 정책을 학습함으로써 데이터 효율성이 향상됨을 입증했다. 이는 표준 미세조정 기반 기준선보다 뛰어난 성능이다.
• 분리된 아키텍처 덕분에 언어를 시각에 정확히 기반화할 수 있었으며, 기존의 미세조정 방식에서 발생하는 과적합을 유도하는 단순화된 전략을 피할 수 있었다.
• 학습 중에 볼 수 없었던 기존 개념의 새로운 조합(예: '빨간 큐브를 파란 상자로 밀어내기')에도 모델은 일반화 성능를 유지한다.
• CCG 구문 분석과 DSL의 사용 덕분에 언어에 대한 구조화된 추론이 가능해져 더 신뢰할 수 있고 해석 가능한 정책 실행 결과를 도출한다.
• 10개의 다양한 테이블탑 조작 작업에 대한 실증 결과는 programport가 제로샷 및 복합 일반화 설정 모두에서 강력한 기준선을 능가함을 확인한다.

Figure 2: (a) Existing manipulation models entangle visual grounding from pretrained VL models with task-specific policy learning. (b) Our disentangled approach leverages program-based representation of language semantics to yield faithful VL-grounding and improved genearlization.