[논문 리뷰] BC-Z: Zero-Shot Task Generalization with Robotic Imitation Learning

Eric Jang, Alex Irpan외 6명|arXiv (Cornell University)|2022. 02. 04.

Robot Manipulation and Learning참고 문헌 30인용 수 89

한 줄 요약

BC-Z 연구는 언어 또는 인간 비디오로 조건화된 대규모 상호작용 모방 정책을 학습하여 새로운 비전 기반 조작 작업에 대해 제로샷과 소샘플 일반화를 달성하고, 해당 작업들에 대한 시연 없이 24개 보지 않은 작업에서 평균 44%의 성공률을 달성합니다.

ABSTRACT

In this paper, we study the problem of enabling a vision-based robotic manipulation system to generalize to novel tasks, a long-standing challenge in robot learning. We approach the challenge from an imitation learning perspective, aiming to study how scaling and broadening the data collected can facilitate such generalization. To that end, we develop an interactive and flexible imitation learning system that can learn from both demonstrations and interventions and can be conditioned on different forms of information that convey the task, including pre-trained embeddings of natural language or videos of humans performing the task. When scaling data collection on a real robot to more than 100 distinct tasks, we find that this system can perform 24 unseen manipulation tasks with an average success rate of 44%, without any robot demonstrations for those tasks.

연구 동기 및 목표

• 비전 기반 로봇 조작에서 광범위한 일반화를 위한 데이터 수집 규모 확장.
• 새로운 작업에 대해 제로샷 및 소샘플 일반화를 가능하게 하는 대안적 작업 명세(언어 또는 비디오)를 사용하도록 함.
• 공유 자율성과 HG-DAgger가 데이터 품질 및 일반화에 미치는 영향을 모의하고 조사.
• 작업 조건화 신호(언어 임베딩 대 비디오 임베딩)가 보지 못한 작업 일반화에 가장 잘 기여하는 위치를 연구합니다.

제안 방법

• 실제 로봇에서 100개의 조작 작업에 걸친 25,877개의 시연 대규모 데이터 세트를 수집합니다.
• 언어 문자열 또는 인간 비디오에서 파생된 작업 임베딩에 조건화된 7-DoF 다작업 정책을 학습합니다.
• 작업 명령(언어 또는 비디오)을 512-차 임베딩 z로 매핑하는 인코더 q(z|w)를 사용합니다.
• Visuomotor 제어에 영향을 주도록 FiLM 계층을 통해 z로 정책을 조건화합니다.
• 배치 중에 잘못을 수정하고 교정을 제공하기 위해 인간이 개입할 수 있는 HG-DAgger를 통해 공유 자율성을 구현합니다.
• 언어 임베딩과 비디오 임베딩의 정렬을 돕는 보조 언어 회귀 손실을 활용합니다( z_h와 z_ℓ 사이의 코사인 유사도 ).

실험 결과

연구 질문

• RQ1 BC-Z가 언어나 인간 비디오로 설명된 새로운 작업에 대해 제로샷 일반화를 달성할 수 있습니까?
• RQ2 일반화 성능의 병목은 작업 임베딩인지 정책 자체(인코더 vs. 컨트롤러)인지?
• RQ3 HG-DAgger 데이터 수집 및 적응 상태 차이 타깃이 학습에 얼마나 중요한가?
• RQ4 언어 대 비디오 작업 조건화의 사용이 제로샷 및 소샘플 일반화에 어떤 영향을 미치는가?

주요 결과

• 100개 작업에 대한 학습은 학습 중에 보지 않은 언어 설명으로 조건화될 때 44%의 평균 성공률로 24개의 보지 않은 작업으로 일반화할 수 있음을 보여줍니다.
• 언어 조건화된 정책은 보류된 작업에서 0이 아닌 성공을 달성합니다(평균 32% 제로샷; 보지 않은 언어를 가진 여러 홀드아웃에서 44%), 반면 비디오 조건화된 정책은 특히 교차 객체 일반화에서 일반화가 더 제한적입니다.
• 제한된 데이터로 학습된 단일 작업 정책은 홀드아웃 작업에서 실패하는 반면, 데이터 풀링을 통한 다작업 학습은 향상된 성능 학습에 필수적입니다.
• HG-DAgger 데이터 수집은 여러 학습 작업에서 순수 전문가 시연 대비 작업 성공을 향상시킵니다.
• 언어 임베딩은 추가 학습 없이도 강력하고 안정적인 작업 조건화 신호를 제공하며, 개입 빈도는 정책 성능과 상관관계가 있어 평가의 실시간 대리 지표를 제공합니다.