[논문 리뷰] VideoDex: Learning Dexterity from Internet Videos

Kenneth Shaw, Shikhar Bahl외 1명|arXiv (Cornell University)|2022. 12. 08.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

VideoDex는 인터넷 영상에서 인간의 손 동작을 활용하여 기민한 로봇 에이전트를 훈련시키는 방법을 제안한다. 시각적, 행동적, 물리적 사전 지식을 활용해 정책 학습을 이끌며, 사전 훈련된 시각 임베딩, 영상에서 유도한 인간 운동 사전 지식, 신경역학 정책을 조합함으로써 실제 작업 환경에서 강력한 제로샷 및 소수 샘플 일반화 성능을 달성한다. 도메인 내 시범 예시가 몇 개뿐이어도 일곱 가지 작업에서 최신 기술을 능가한다.

ABSTRACT

To build general robotic agents that can operate in many environments, it is often imperative for the robot to collect experience in the real world. However, this is often not feasible due to safety, time, and hardware restrictions. We thus propose leveraging the next best thing as real-world experience: internet videos of humans using their hands. Visual priors, such as visual features, are often learned from videos, but we believe that more information from videos can be utilized as a stronger prior. We build a learning algorithm, VideoDex, that leverages visual, action, and physical priors from human video datasets to guide robot behavior. These actions and physical priors in the neural network dictate the typical human behavior for a particular robot task. We test our approach on a robot arm and dexterous hand-based system and show strong results on various manipulation tasks, outperforming various state-of-the-art methods. Videos at https://video-dex.github.io

연구 동기 및 목표

• 대규모 인터넷 영상에서의 인간 손 조작 데이터를 활용하여 실세계 로봇 정책 학습의 데이터 효율성 및 안전성 문제를 해결한다.
• 시각적 표현 사전 훈련을 넘어서 인간 영상을 행동 및 물리적 사전 지식의 원천으로 활용하여 로봇 정책 학습을 수행한다.
• 인터넷 영상 훈련 후 도메인 내 시범 예시가 몇 개뿐인 상태에서 샘플 효율적인 실세계 적응을 가능하게 한다.
• 3D 인간 자세 추정 및 손 리타겟팅을 통합하여 고자유도도의 로봇 조작에서의 일반화 및 강건성을 향상시킨다.
• 시각적, 행동적, 물리적 사전 지식을 융합한 결과가 시각적 또는 행동적 사전 지식만을 사용한 기준선 대비 뛰어난 성능을 보임을 입증한다.

제안 방법

• 인터넷 영상에서 인간의 사지 궤적을 행동 사전 지식으로 추출하기 위해 사전 훈련된 3D 인간 자세 추정 기법(FrankMocap)을 사용한다.
• 영상 대비 표현 학습 방법(Nair 등)을 적용하여 인간 영상에서 시각적 특징을 추출함으로써 시각적 사전 지식을 학습한다.
• 신경역학 정책(NDP)을 물리적 사전 지식으로 통합하여 로봇의 운동 역학을 모델링하고 부드럽고 물리적으로 타당한 동작을 보장한다.
• 인간의 손 동작을 학습된 에너지 기반 함수를 통해 로봇의 손으로 리타겟팅하여 인간과 로봇의 운동학적 구조를 일치시킨다.
• 비디오에서 추출한 시각적, 행동적, 물리적 사전 지식을 융합한 단일 오픈 루프 정책을 행동 복제 기반으로 훈련하며, 실세계 시범 예시가 몇 개뿐인 상태에서 미세조정한다.
• 두 개의 스트림 아키텍처를 도입하여 손목과 손의 운동 제어를 분리함으로써 다양한 조작 작업 간의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 인터넷 영상에서의 인간 손 조작 데이터는 실세계 환경에서 샘플 효율적인 로봇 정책 학습을 위한 강력한 사전 지식이 될 수 있는가?
• RQ2 인간 영상에서 유도한 시각적, 행동적, 물리적 사전 지식을 융합할 경우 제로샷 및 소수 샘플 일반화 성능가 향상되는가?
• RQ3 행동 사전 지식과 시각 사전 지식 중 어느 것이 샘플 복잡도 감소 및 성공률 향상에 더 큰 기여를 하는가?
• RQ4 손목과 손의 운동 제어를 분리함으로써 정책 성능 및 작업 간 일반화 능력에 어떤 영향을 미치는가?
• RQ5 인터넷 영상과 소수의 실세계 시범 예시만으로 훈련된 순수 오픈 루프 정책이 새로운 물체나 작업에 일반화될 수 있는가?

주요 결과

• VideoDex는 전체 데이터를 사용할 경우 90%의 성공률을 기록했고, 제약 조건이 있는 경우(각 변형에 대해 10개의 시범 예시) 70%의 성공률을 기록하여 모든 기준선을 초월했다.
• 각 변형에 대해 단 5개의 시범 예시만으로도 80%의 성공률을 기록하여 강력한 소수 샘플 일반화 능력을 입증했다.
• 행동 사전 지식이 시각 사전 지식보다 더 큰 기여를 하며, VideoDex-MVP(시각 사전 지식 포함)는 동일한 작업에서 40%의 성공률에 그쳤지만, VideoDex는 90%의 성공률을 기록했다.
• 두 스트림 아키텍처(손목과 손 제어를 별도로 처리)는 단일 스트림 정책 대비 성능을 20% 향상시켰으며, VideoDex-Single는 단지 30%의 성공률을 기록했다.
• 물리적 사전 지식(NDP)은 성능 향상에 크게 기여했으며, BC-NDP는 대부분의 작업에서 BC-RNN 및 BC-Open을 능가했지만, BC-RNN의 보수적인 행동이 더 높은 캐치 성공률을 기록한 경우가 있었다.
• LEAP Hand는 평균적으로 모든 작업에서 Allegro Hand보다 7–12% 높은 성능을 기록하여 로봇 하드웨어 선택이 정책 성능에 영향을 미칠 수 있음을 시사했다.