[논문 리뷰] CALVIN: A Benchmark for Language-Conditioned Policy Learning for Long-Horizon Robot Manipulation Tasks

Oier Mees, Lukás Hermann외 2명|arXiv (Cornell University)|2021. 12. 06.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

CALVIN은 자연어 지시, 다중모달 감각 입력(RGB-D, 퍼피션, 촉각) 및 7-DOF 연속 제어를 사용하여 장기 계획 작업에서 언어 조건부 로봇 정책을 훈련하고 평가하기 위한 시뮬레이션 기반 벤치마크이다. 다중 맥락 묘사 학습 기반 방법은 다섯 개 지시어의 장기 계획 체인에서 오직 0.08%의 성공률을 기록하여 제로샷 일반화 및 지각 기반 정의의 심각한 과제를 드러내며, 시각-언어-로봇 통합 분야에서 새로운 방법의 필요성을 강조한다.

ABSTRACT

General-purpose robots coexisting with humans in their environment must learn to relate human language to their perceptions and actions to be useful in a range of daily tasks. Moreover, they need to acquire a diverse repertoire of general-purpose skills that allow composing long-horizon tasks by following unconstrained language instructions. In this paper, we present CALVIN (Composing Actions from Language and Vision), an open-source simulated benchmark to learn long-horizon language-conditioned tasks. Our aim is to make it possible to develop agents that can solve many robotic manipulation tasks over a long horizon, from onboard sensors, and specified only via human language. CALVIN tasks are more complex in terms of sequence length, action space, and language than existing vision-and-language task datasets and supports flexible specification of sensor suites. We evaluate the agents in zero-shot to novel language instructions and to novel environments and objects. We show that a baseline model based on multi-context imitation learning performs poorly on CALVIN, suggesting that there is significant room for developing innovative agents that learn to relate human language to their world models with this benchmark.

연구 동기 및 목표

• 다양하고 현실적인 환경에서 장기 계획, 언어 조건부 로봇 조작을 위한 표준화된 벤치마크 부족 문제를 해결하기 위해.
• 튜닝 없이도 새로운 환경과 새로운 언어 지시어에 일반화할 수 있는 에이전트의 훈련을 가능하게 하기 위해.
• 지각과 행동에 언어를 기반으로 하는 다중모달, 연속 제어 정책의 개발을 지원하기 위해.
• 훈련, 프로토타이핑, 언어 조건부 정책 검증을 위한 모듈러하고 오픈소스의 시뮬레이션 프레임워크를 제공하기 위해.
• 점차 어려움이 증가하는 수준의 엄격한 평가 프로토콜을 설정하여, 환경 간 및 언어 간 제로샷 일반화를 포함하기 위해.

제안 방법

• 벤치마크는 네 가지 실내 조작 설정을 지원하는 시뮬레이션 환경 기반으로 구축되었으며, 정적 및 그립퍼에 장착된 RGB-D 카메라, 퍼피션, 시각 기반 촉각 감지 기능을 포함한 다양한 센서 구성이 가능하다.
• 훈련을 위해 약 24시간 분량의 비정형 텔레옵에이티드 플레이 데이터와 20,000개의 다양한 비구조적 언어 지시어를 사용한다.
• 프레임워크는 묘사 학습 및 강화 학습 접근 방식을 모두 활용한 정책의 훈련 및 평가를 지원한다.
• 평가 방법은 동일 환경, 다중 환경, 제로샷 다중 환경 일반화 등 여러 모드로 수행된다.
• 다중 맥락 묘사 학습(MCIL) 기반 방법을 구현하여, 재사용 가능한 행동을 목표 지향 정책에 통합하기 위해 재라벨링된 시연 데이터를 활용한다.
• 벤치마크는 세 개의 환경에서 훈련하고 훈련 중에 볼 수 없었던 새로운 환경에서 테스트하는 방식으로 제로샷 평가를 가능하게 한다. 이때 언어 지시어는 훈련 중에 등장하지 않았다.

실험 결과

연구 질문

• RQ1 언어 조건부 정책는 훈련 중에 볼 수 없었던 새로운 환경과 새로운 언어 지시어에 일반화할 수 있는가?
• RQ2 장기 계획 작업에서 다중모달 입력(시각, 퍼피션, 촉각)은 정책 성능에 어떤 영향을 미치는가?
• RQ3 MCIL와 같은 묘사 학습 방법은 고차원 상태 및 행동 공간을 가진 복잡한 장기 계획 작업에 얼마나 일반화할 수 있는가?
• RQ4 센서 모odal 선택(예: 그립퍼 카메라, 깊이, 촉각)은 지각 기반 정의 및 작업 성공에 어떤 역할을 하는가?
• RQ5 훈련 환경과 테스트 환경 간의 분포 이탈은 언어 조건부 제어에서 정책의 일반화에 어떤 영향을 미치는가?

주요 결과

• MCIL 기반 방법은 동일 환경 설정에서 단기 계획 작업에서 53.9%의 성공률을 기록하여 간단한 하위작업에 대한 능력을 보였다.
• 다섯 개의 순차적 지시어를 포함하는 장기 계획 작업에서는 MCIL 기반 방법이 오직 0.08%의 성공률을 기록하여 장기 계획 계획에서 심각한 실패를 보였다.
• 정책은 초기 하위작업을 올바르게 수행하는 경향이 있었으며(첫 번째 지시어에 대해 48.9% 성공률), 후속 작업에서 실패하는 경향이 있었고, 이는 오류 누적 현상이었다.
• 제로샷 다중 환경 평가에서 성능이 크게 떨어져 훈련 분포를 초월한 일반화 능력이 떨어지는 것으로 나타났다.
• 지각 기반 정의에 어려움을 겪었으며, 자주 색상 참조(예: 빨간 블록 vs 파란 블록)를 혼동하는 경향이 있어 다중모달 정렬의 한계를 보였다.
• 그립퍼 카메라나 깊이 채널과 같은 센서를 추가해도 성능 향상이 크게 없었으며, 이는 더 나은 센서 융합 또는 표현 학습 기법이 필요함을 시사한다.