[논문 리뷰] Can Foundation Models Perform Zero-Shot Task Specification For Robot Manipulation?

Yuchen Cui, Scott Niekum외 3명|arXiv (Cornell University)|2022. 04. 23.

Robot Manipulation and Learning인용 수 8

한 줄 요약

이 논문은 프리트레인드 기반 모델을 활용하여 피트니스 모델을 미세조정하지 않고도 자연어, 인터넷 이미지 또는 스케치를 목표 사양으로 사용할 수 있도록 하는 제로샷 작업 사양 프레임워크인 ZeST를 제안한다. 관측값과 목표를 공유된 공간에 임bedding하고 유사도를 측정함으로써 ZeST는 제로샷 목표 선택에서 랜덤 추측 대비 14배 향상된 성능을 달성하며, 행동 클로닝을 능가하는 90.77%의 전문가 성능을 달성하는 오프라인 강화학습 정책을 가능하게 한다.

ABSTRACT

Task specification is at the core of programming autonomous robots. A low-effort modality for task specification is critical for engagement of non-expert end-users and ultimate adoption of personalized robot agents. A widely studied approach to task specification is through goals, using either compact state vectors or goal images from the same robot scene. The former is hard to interpret for non-experts and necessitates detailed state estimation and scene understanding. The latter requires the generation of desired goal image, which often requires a human to complete the task, defeating the purpose of having autonomous robots. In this work, we explore alternate and more general forms of goal specification that are expected to be easier for humans to specify and use such as images obtained from the internet, hand sketches that provide a visual description of the desired task, or simple language descriptions. As a preliminary step towards this, we investigate the capabilities of large scale pre-trained models (foundation models) for zero-shot goal specification, and find promising results in a collection of simulated robot manipulation tasks and real-world datasets.

연구 동기 및 목표

• 비전문가 사용자가 자연어, 스케치 또는 인터넷 이미지와 같은 직관적이고 낮은 노력의 모odalities를 사용해 로봇 작업을 사양할 수 있도록 하는 것.
• 기반 모델이 전문가의 시연나 복잡한 보상 설계 없이도 로봇 분야에서 제로샷 작업 사양을 수행할 수 있는지 조사하는 것.
• ZeST의 효과성을 시뮬레이션 및 실제 환경에서의 제로샷 목표 및 행동 선택에 대해 평가하는 것.
• ZeST의 유사도 점수가 오프라인 강화학습에서 보조 보상 함수로 사용될 수 있는지 탐색하는 것.
• 사전 훈련된 시각 및 언어 모델을 사용해 시뮬레이션과 실제 세계 간의 도메인 갭을 줄이는 것.

제안 방법

• ZeST는 CLIP, ResNet 또는 MoCo와 같은 사전 훈련된 기반 모델을 사용해 로봇 관측값과 목표 사양(예: 텍스트, 이미지, 스케치)을 공유된 잠재 공간에 임베딩한다.
• 유사도는 코사인 유사도 또는 대비 손실을 사용해 임bedded된 관측값과 목표 간에 계산되며, 이는 제로샷 보상 신호를 형성한다.
• 제로샷 목표 선택의 경우, 작업 전용 미세조정 없이도 현재 관측값과 가장 높은 유사도를 가진 목표를 선택한다.
• 오프라인 강화학습에서는 ZeST 유사도 점수가 결정 트랜스포머를 통해 정책을 훈련하기 위한 보조 보상 함수로 사용된다.
• 이 프레임워크는 시뮬레이션된 Franka Kitchen 환경과 실제 세계의 SSV2 스타일의 조작 작업에서 평가되며, 실제 세계에서의 목표 사양 모달리티(real2real)와 시뮬레이션에서의 목표 사양 모달리티(sim2real)를 모두 사용한다.
• 다양한 시각 및 언어 인코더를 사용한 여러 임베딩 모델(CLIP, ResNet, MoCo)을 비교하여 성능과 내구성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 기반 모델이 자연어나 인터넷에서 확보한 이미지를 목표로 사용해 로봇 조작 분야에서 제로샷 작업 사양을 가능하게 할 수 있는가?
• RQ2 미세조정 없이 ZeST가 랜덤 추측 대비 얼마나 효과적으로 올바른 목표와 행동을 선택할 수 있는가?
• RQ3 ZeST 유사도 점수가 오프라인 강화학습에서 정책 훈련을 위한 타당한 보조 보상 함수로 사용될 수 있는가?
• RQ4 실제 세계 및 시뮬레이션에서의 실세계 전이 설정에서, 다양한 임베딩 모델(예: CLIP 대비 ResNet) 간 ZeST의 성능은 어떻게 달라지는가?
• RQ5 사전 훈련된 모델을 사용해 기반 모델의 도메인 일반화 능력으로 인해 시뮬레이션에서 실제 세계로의 도메인 갭을 어느 정도 줄일 수 있는가?

주요 결과

• ZeST는 다양한 도메인과 모달리티에서 제로샷 목표 선택 작업에서 랜덤 추측 대비 성공률이 14배 향상되었다.
• SSV2 실세계에서의 실세계 설정(real2real)에서 ResNet과 MoCo 임베딩이 CLIP를 능가했으며, 상위 25개 성공률이 랜덤 수준을 크게 상회하여 임베딩 선택에 대한 모델 민감도를 보여주었다.
• 오프라인 RL에서 보조 보상 함수로 사용되었을 때, ZeST+DT는 전문가 성능의 90.77%를 달성했으며, 행동 클로닝(80.67%)과 시연 평균(81.19%)을 모두 능가했다.
• 프레임워크는 시뮬레이션에서 시뮬레이션, 시뮬레이션에서 실세계로의 설정 모두에서 실현 가능성을 보였으며, 도메인 간 작업 사양에 대한 잠재력을 보여주었다.
• 실세계에서의 실세계 설정에서 CLIP는 랜덤 수준에 비해 약간 높은 성능을 보였을 뿐이었으며, 일부 기반 모델의 도메인 일반화 능력에 한계가 있음을 시사했다.
• 관측값을 차단하는 로봇 팔 등으로 인한 가림 현상과 시각적 기반의 국소화 부족은 여전히 도전 과제이며, 향상된 시각적 기반 기술이 필요함을 시사한다.