[논문 리뷰] Robotic Telekinesis: Learning a Robotic Hand Imitator by Watching Humans on Youtube

Aravind Sivakumar, Kenneth Shaw외 1명|arXiv (Cornell University)|2022. 02. 21.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 단일 校정되지 않은 RGB 카메라만을 사용하여 16-DoF 로봇 손과 팔을 실시간으로 제어할 수 있는 저비용, 장갑 불필요, 마커 불필요한 원격제어 시스템인 Robotic Telekinesis를 제안한다. 기존의 유튜브 영상 데이터를 활용해 사전 훈련한 3D 인간 자세 추정기와 새로운 운동 리타겟팅 네트워크(적대적 자기충돌 손실 포함)를 통해, 부드럽고 충돌 없는, 의미적으로 정확한 인간 손 움직임의 모방을 달성하며, 전문 장비나 校정 없이도 초보자도 특수 하드웨어 없이 민감한 제어 작업을 수행할 수 있도록 한다.

ABSTRACT

We build a system that enables any human to control a robot hand and arm, simply by demonstrating motions with their own hand. The robot observes the human operator via a single RGB camera and imitates their actions in real-time. Human hands and robot hands differ in shape, size, and joint structure, and performing this translation from a single uncalibrated camera is a highly underconstrained problem. Moreover, the retargeted trajectories must effectively execute tasks on a physical robot, which requires them to be temporally smooth and free of self-collisions. Our key insight is that while paired human-robot correspondence data is expensive to collect, the internet contains a massive corpus of rich and diverse human hand videos. We leverage this data to train a system that understands human hands and retargets a human video stream into a robot hand-arm trajectory that is smooth, swift, safe, and semantically similar to the guiding demonstration. We demonstrate that it enables previously untrained people to teleoperate a robot on various dexterous manipulation tasks. Our low-cost, glove-free, marker-free remote teleoperation system makes robot teaching more accessible and we hope that it can aid robots in learning to act autonomously in the real world. Videos at https://robotic-telekinesis.github.io/

연구 동기 및 목표

• 장갑, 마커, 전용 하드웨어 없이 저비용, 실시간, 접근 가능한 민감한 로봇 손 원격 제어를 가능하게 하기.
• 인터넷 영상 데이터의 막대한 양을 활용해 인간-로봇 자세 대응 관계의 데이터 부족 문제를 해결하기.
• 다양한 인간 손 자세를 물리적으로 타당하고 충돌 없는 로봇 궤적으로 실시간으로 변환하는 운동 리타겟팅 시스템 개발하기.
• 단일 카메라로 관찰된 자연스러운 손 움직임만으로도 초보자가 복잡한 민감한 제어 작업을 성공적으로 수행할 수 있도록 하기.
• 인간의 시연을 간편하고 접근 가능한 플랫폼으로 제공함으로써 로봇 학습의 민주화를 도모하고 자율 정책 학습을 촉진하기.

제안 방법

• 시스템은 단일 校정되지 않은 카메라로 촬영한 2D RGB 영상 프레임에서 3D 손 및 신체 자세를 추론하기 위해 사전 훈련된 3D 인간 자세 추정기를 사용한다.
• 새로운 운동 리타겟팅 네트워크는 에너지 기반 최적화 프레임워크를 통해 추론된 인간 자세를 16-DoF Allegro 로봇 손 및 팔 관절 구성으로 매핑한다.
• 에너지 함수에는 관절점 일치 손실, 운동학적 일致성 손실, 그리고 적대적 자기충돌 손실이 포함되어 있어 물리적 타당성과 자기충돌 방지를 보장한다.
• 자기충돌 손실은 예측된 로봇 자세가 자기충돌을 일으키는지 분류하는 디스크림이너를 통해 학습되며, 암묵적인 충돌 회피를 통한 엔드 투 엔드 훈련이 가능하다.
• 전체 시스템은 레이블이 없는 수천 시간 분량의 유튜브 영상 데이터를 사전 훈련하여 실험실에서의 로봇 데이터 수집이 필요 없도록 한다.
• 프레임당 40ms의 추론 예산을 확보하여 실시간 추론을 구현함으로써 실제 환경에서 반응성이 높은 원격 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 RGB 카메라와 전용 하드웨어 없이도 로봇 손을 실시간으로 원격 제어할 수 있는가?
• RQ2 비정제된 인터넷 영상 데이터로 훈련된 시스템이 초보자 사용자에게 실제 환경에서 원격 제어에 일반화되는가?
• RQ3 명시적 충돌 감지 없이 인간 손에서 로봇 손으로의 운동 리타겟팅 과정에서 자기충돌을 효과적으로 방지할 수 있는가?
• RQ4 다양한 유튜브 영상 데이터를 사전 훈련에 활용할 경우, 원격 제어 정책의 강건성과 일반화 능력이 얼마나 향상되는가?
• RQ5 지표가 없는 로봇 데이터가 있는 상태에서, 학습된 리타겟팅 네트워크가 DexPilot-Monocular ∗와 같은 강력한 베이스라인을 초월해 최적의 로봇 자세를 얼마나 잘 재현할 수 있는가?

주요 결과

• 제안된 신경망 리타겟터는 가짜 지표 오라클과의 일치에서 각 관절당 0.17 라디안(약 10°)의 RMSE를 기록하여 DexPilot-Monocular ∗의 0.25 라디안(약 14°)을 상회했다.
• 적대적 자기충돌 손실의 포함으로 로봇 손 자세의 자기충돌이 크게 감소하였으며, 동시에 인간 시연와 의미적 유사성은 유지되었다.
• 절단 실험 결과, 자기충돌 최소화와 자세 유사도 최소화 사이에 상충 관계가 존재했으며, 자기충돌 손실 가중치 0.8이 유의미한 균형을 이룩했다.
• 이 시스템은 사전 훈련되지 않은 10명의 인간 사용자가 단일 카메라와 자연스러운 손 움직임만으로 10개의 도전적인 민감한 제어 작업을 성공적으로 완수하도록 하였다.
• 프레임당 40ms의 추론 예산을 확보하여 실시간 성능을 입증하였으며, 통제되지 않은 환경에서도 반응성 있고 유연한 원격 제어가 가능했다.
• 비전문가를 대상으로 한 체계적인 사용자 연구를 통해 다양한 사용자와 작업에 대해 잘 일반화됨을 입증하였다.