[논문 리뷰] VLMbench: A Compositional Benchmark for Vision-and-Language Manipulation

Kaizhi Zheng, Xiaotong Chen외 2명|arXiv (Cornell University)|2022. 06. 17.

Multimodal Machine Learning Applications인용 수 15

한 줄 요약

이 논문은 VLMbench를 소개한다. VLMbench는 자동 시연 생성기(AMSolver)를 사용해 다양한 편향이 적은 언어 지시문과 6DoF 로봇 궤적을 생성하는 확장성 있고 조합형 기준이다. 또한 언어를 3차원 동작에 기반으로 매칭시키는 키포인트 기반 모델인 6D-CLIPort를 제안하며, 강력한 抓握 성공률에도 불구하고 로봇 조작에서 언어 기반 지도의 정확도 향상 여지가 크다는 점을 보여준다.

ABSTRACT

Benefiting from language flexibility and compositionality, humans naturally intend to use language to command an embodied agent for complex tasks such as navigation and object manipulation. In this work, we aim to fill the blank of the last mile of embodied agents -- object manipulation by following human guidance, e.g., "move the red mug next to the box while keeping it upright." To this end, we introduce an Automatic Manipulation Solver (AMSolver) system and build a Vision-and-Language Manipulation benchmark (VLMbench) based on it, containing various language instructions on categorized robotic manipulation tasks. Specifically, modular rule-based task templates are created to automatically generate robot demonstrations with language instructions, consisting of diverse object shapes and appearances, action types, and motion constraints. We also develop a keypoint-based model 6D-CLIPort to deal with multi-view observations and language input and output a sequence of 6 degrees of freedom (DoF) actions. We hope the new simulator and benchmark will facilitate future research on language-guided robotic manipulation.

연구 동기 및 목표

• 로봇 시각-언어 조작 분야에서 확장 가능하고 모듈화되며 편향이 적은 기준의 부족을 해결하기 위해.
• 조합형 언어와 작업 템플릿을 통해 새로운 물체와 복잡한 다단계 작업에 대해 제로샷 일반화를 가능하게 하기 위해.
• 운동 제약 조건에 따라 작업을 분류하고 언어 지시에 따라 다양한 시각적 추론을 지원하는 기준을 개발하기 위해.
• 실제 3차원 환경에서 언어를 6DoF 로봇 동작에 정확히 매칭시키는 시각-언어 모델의 강건성 평가하기 위해.

제안 방법

• AMSolver: 물체 형태, 외관, 동작, 운동 제약 조건에 대해 모듈러한 규칙 기반 템플릿을 사용해 단위 작업을 조합하는 자동 시연 생성기.
• VLMbench: 100개 이상의 작업을 포함한 3D 시뮬레이션 기반 기준으로, 운동 제약 조건(예: 회전, 이동)에 따라 분류되며 조합형 언어 지시문을 지원한다.
• 6D-CLIPort: 다중 시점 관측과 언어를 처리해 6DoF 동작 시퀀스를 예측하는 키포인트 기반 시각-언어 모델.
• 抓住 및 이동 단계로 작업 분해하고, 목표 조건부 抓握(G-G) 및 목표 조건부 이동(G-M) 성공률 등의 평가 지표 사용.
• 실패 모드 분석 및 운동 계획에서 위치/자세 불일치의 영향 평가를 위해 진짜 도착 지점(waypoints) 사용.
• 보이는 및 보이지 않는 물체 카테고리에서 평가하여, 抓握 및 조작에서 제로샷 일반화 성능 테스트.

실험 결과

연구 질문

• RQ1 조합형 언어와 모듈러한 작업 템플릿을 갖춘 기준은 시각-언어 조작에서 새로운 물체에 대해 확장 가능하고 제로샷 일반화를 가능하게 할 수 있는가?
• RQ2 6D-CLIPort와 같은 시각-언어 모델은 복잡하고 제약이 많은 언어 지시문을 따를 때 보이지 않는 물체 형태와 외관에 얼마나 잘 일반화되는가?
• RQ3 언어 기반 6DoF 로봇 조작에서 주요 실패 원인은 무엇인가, 특히 위치 및 자세 추정치가 진짜 값과 다를 경우에 해당하는가?
• RQ4 진짜 위치 또는 자세 정보가 일부 제공되는 에이전트가 6DoF 자세 추정의 불일치로 인해 여전히 실패하는 정도는 어느 정도인가?
• RQ5 운동 제약 조건에 따라 작업을 분류하고 물체 중심 표현을 사용하면 시각적 추론을 향상시키고 언어 기반 조작에서 편향을 줄일 수 있는가?

주요 결과

• 6D-CLIPort는 pick, stack, drop, pout, wiper 등의 작업에서 보이는 및 보이지 않는 설정 모두에서 높은 목표 조건부 抓握(G-G) 성공률를 달성하여 물체 기반 언어 일반화 능력이 뛰어나다는 것을 보여준다.
• 높은 抓握 성공률에도 불구하고 목표 조건부 이동(G-M) 성공률는 상당히 낮아, 주요 실패 원인이 궤적 실행 및 운동 계획 단계에 있음을 시사한다.
• 비전 전용 에이전트는 보이는 서랍 작업에 과적합되어 보이는 설정에선 높은 抓握 성공률를 보이지만, 보이지 않는 설정에선 성능이 열악하여 분포 이동 문제를 드러낸다.
• 열기/닫기 작업의 경우, 보이는 및 보이지 않는 설정 모두에서 G-M 성공률가 유사하여, 올바른 抓握가 이루어지면 이동 정책의 일반화 능력이 뛰어나다는 것을 시사한다.
• 실패 사례의 주요 원인은 잘못된 자세 추정: 잘못된 抓握 자세, 잘못된 물체를 抓握, 잘못된 도착 자세, 잘못된 도착 물체.
• 진짜 위치 또는 자세 정보가 제공되더라도 추정된 자세와 진짜 자세가 불일치하면 6D-CLIPort는 실패하며, 이는 자세 정렬이 운동 계획 성공에 있어 핵심임을 증명한다.