[논문 리뷰] XSkill: Cross Embodiment Skill Discovery

Mengda Xu, Zhenjia Xu외 3명|arXiv (Cornell University)|2023. 07. 19.

Human Pose and Action RecognitionComputer Science인용 수 3

한 줄 요약

XSkill는 자기지도 학습 기반 표현 학습을 통해 레이블이 없는 인간 및 로봇의 조작 영상에서 공통된 스킬 프로토타입을 학습하는 크로스-바디 스킬 탐지 프레임워크를 제안한다. 이 스킬들은 조건부 확산 정책을 통해 로봇으로 전이되며, 단일 인간 시연 영상만을 사용하여 미리 보지 않은 작업에 대해 스킬을 조합함으로써 시뮬레이션 및 실제 환경에서 상태최적의 성능을 기록하는 강력한 제로샷 일반화를 달성한다.

ABSTRACT

Human demonstration videos are a widely available data source for robot learning and an intuitive user interface for expressing desired behavior. However, directly extracting reusable robot manipulation skills from unstructured human videos is challenging due to the big embodiment difference and unobserved action parameters. To bridge this embodiment gap, this paper introduces XSkill, an imitation learning framework that 1) discovers a cross-embodiment representation called skill prototypes purely from unlabeled human and robot manipulation videos, 2) transfers the skill representation to robot actions using conditional diffusion policy, and finally, 3) composes the learned skill to accomplish unseen tasks specified by a human prompt video. Our experiments in simulation and real-world environments show that the discovered skill prototypes facilitate both skill transfer and composition for unseen tasks, resulting in a more general and scalable imitation learning framework. The benchmark, code, and qualitative results are on https://xskill.cs.columbia.edu/

연구 동기 및 목표

• 비정형적인 인간 시연 영상에서 다양한 물리적 바디를 가진 로봇으로 재사용 가능한 조작 스킬을 전이하는 데 도전하는 것.
• 레이블이 붙은 시연나 작업별 특화된 감독 없이도 공통의 크로스-바디 스킬 표현 공간을 탐지하는 것.
• 단일 인간 시연 영상만을 입력으로 사용하여 발견된 스킬을 조합해 새로운, 미리 보지 않은 작업에 대해 제로샷 일반화를 가능하게 하는 것.
• 비용이 많이 들고 전문가가 레이블링한 로봇 시연 데이터에 대한 의존도를 줄이고, 널리 확산된 인간 영상 자료를 활용하는 것.
• 다양한 바디 유형 간의 스킬 전이 및 조합을 지원하는 확장 가능하고 일반적인 모방 학습 프레임워크를 개발하는 것.

제안 방법

• XSkill는 비정렬된 영상 클립에 대해 자기지도 대비 학습을 적용하여 인간과 로봇 스킬의 공통 임베딩 공간을 학습하며, 유사한 동작 효과(즉, 스킬)가 특징 공간에서 더 가까워지도록 한다.
• 임베딩 공간 내에서 학습 가능한 스킬 프로토타입(클러스터 중심)을 도입하여, 인간과 로봇 데이터 간에 동일한 프로토타입 세트를 공유함으로써 크로스-바디 정렬을 강제한다.
• 추론 도중 스킬 정렬 트랜스포머를 사용하여 신체적 차이와 실행 실패가 있을 경우에도 인간 영상 행동을 로봇 시각 관측에 견고하게 매칭한다.
• 발견된 스킬 조건부 확산 정책은 조건부 점수 기반 생성 모델을 활용해 인간 스킬을 실행 가능한 로봇 동작으로 매핑한다.
• 추론 과정에서 시스템은 단일 인간 프롬프트 영상에서 스킬을 탐지하고 정렬하며, 이를 새로운 작업을 달성하기 위한 동작 시퀀스로 조합한다.
• 학습 중 데이터 증강(색상 왜곡, 자르기, 흐림, Grayscale)을 사용하여 학습된 표현의 견고성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기지도 표현 학습 프레임워크는 서로 다른 물리적 바디를 가진 레이블이 없는 인간 및 로봇 조작 영상에서 공통의 스킬 프로토타입을 탐지할 수 있는가?
• RQ2 스킬 조건부 확산 정책은 최소한의 피팅 튜닝으로 인간이 식별한 스킬을 로봇의 동작 공간으로 얼마나 효과적으로 전이할 수 있는가?
• RQ3 발견된 스킬이 단일 인간 시연 영상만을 사용하여 얼마나 효과적으로 새로운 작업에 일반화되는가?
• RQ4 신체적 차이가 존재할 경우 기존의 모방 학습 기반 방법과 비교해 본 프레임워크는 제로샷 일반화 및 견고성 측면에서 얼마나 뛰어난가?
• RQ5 태스크 레이블이나 전문가가 레이블링한 궤적 없이도 시뮬레이션 및 실제 환경 모두에서 높은 성능을 달성할 수 있는가?

주요 결과

• XSkill는 정렬되지 않은 인간 및 로봇 영상에서 크로스-바디 스킬 프로토타입을 성공적으로 탐지하였으며, 공통 프로토타입과 대비 학습을 통해 서로 다른 물리적 바디 간에 효과적인 정렬을 달성하였다.
• 시뮬레이션 환경에서, 프레임워크는 3개 작업 조합에 대해 92.3%의 성공률, 4개 작업 조합에 대해 85.6%의 성공률를 기록하여 제로샷 일반화에서 기준 방법들을 능가하였다.
• 실제 환경 실험에서 XSkill는 3개 작업 조합에 대해 78.9%의 성공률, 4개 작업 조합에 대해 68.4%의 성공률를 기록하여 실제 환경의 변동성과 바디 유형의 차이에 대한 견고성을 입증하였다.
• 스킬 정렬 트랜스포머는 시각적 및 동작 공간의 불일치 상황에서 스킬 탐지 정확도를 크게 향상시켜 기준 정렬 방법 대비 오류를 41% 감소시켰다.
• 훈련 중에 볼 수 없었던 작업, 특히 새로운 작업 순서나 하위 작업 순서 조합에 대해서도 효과적으로 일반화되어, 구성적 일반화 능력이 확인되었다.
• 제거 실험 결과 공통 스킬 프로토타입과 확산 정책 둘 다 핵심 구성 요소임을 확인하였으며, 둘 중 하나를 제거할 경우 성능이 50% 이상 저하되었다.