[논문 리뷰] Open-TeleVision: Teleoperation with Immersive Active Visual Feedback

Xuxin Cheng, Jialong Li외 3명|arXiv (Cornell University)|2024. 07. 01.

Multimedia Communication and Technology인용 수 4

한 줄 요약

Open-TeleVision은 VR 기반의 손과 머리 추적 기술을 활용한 활성 스테레오 비전을 통합한 몰입형 원격 조작 시스템을 소개한다. 이 시스템은 정밀하고 장기적인 조작을 위한 인간형 로봇의 직관적인 원격 제어를 가능하게 하며, 실시간 스테레오 시각 피드백을 스트리밍하여 고정밀 이mitation 학습을 실현한다. 정적 또는 단안 뷰에 비해 작업 성공률과 추론 속도가 향상된다.

ABSTRACT

Teleoperation serves as a powerful method for collecting on-robot data essential for robot learning from demonstrations. The intuitiveness and ease of use of the teleoperation system are crucial for ensuring high-quality, diverse, and scalable data. To achieve this, we propose an immersive teleoperation system Open-TeleVision that allows operators to actively perceive the robot's surroundings in a stereoscopic manner. Additionally, the system mirrors the operator's arm and hand movements on the robot, creating an immersive experience as if the operator's mind is transmitted to a robot embodiment. We validate the effectiveness of our system by collecting data and training imitation learning policies on four long-horizon, precise tasks (Can Sorting, Can Insertion, Folding, and Unloading) for 2 different humanoid robots and deploy them in the real world. The system is open-sourced at: https://robot-tv.github.io/

연구 동기 및 목표

• 다지 손을 갖춘 인간형 로봇에 대해 정밀하고 직관적인 제어를 지원하는 확장 가능한 원격 조작 시스템을 개발한다.
• 기존 원격 조작 방식에서 발생하는 가림현상과 부정확한 공간 인식 문제를 해결하기 위해 운영자 머리 움직임을 반영하는 활성 헤드마운트 스테레오 카메라를 통합한다.
• 원격 조작 중 몰입감 있는 1인칭 스테레오 시각 피드백을 제공하여 고품질의 데이터 수집을 가능하게 하여 이mitation 학습을 지원한다.
• 두 대의 다른 인간형 로봇에서 다양한 장기적인 조작 과제에 대해 시스템의 효과성을 입증한다.
• 실시간 시각 및 운동 피드백을 통해 대륙을 가로질러 원격 조작이 가능한 저지연 성능을 실현한다.

제안 방법

• 시스템은 VR 추적을 통해 운영자의 손, 머리, 손목 자세를 SE(3) 공간에서 캡처하고, 운동 리타겟팅을 통해 이를 로봇 관절 위치로 매핑한다.
• 로봇 머리에 장착된 스테레오 RGB 카메라를 갖춘 구동식 목이 운영자 머리 움직임에 동기화되어 실시간으로 1인칭 3차원 시각 피드백을 제공한다.
• 480x640 해상도의 스테레오 영상 스트림이 60Hz 속도로 VR 헤드셋에 전송되어 깊이 인식과 공간 인식 능력을 향상시킨다.
• 네트워크 기반 원격 조작을 지원하며, UC 샌디에이고와 MIT 간의 대륙 간 원격 조작 성공 사례를 통해 이를 입증한다.
• 이미지 및 프로 prioception 토큰을 처리하는 액션 청킹 Transformer 아키텍처를 사용해 이mitation 학습 정책을 훈련한다.
• 시스템은 오픈소스로 제공되며, 다양한 VR 장치와 인간형 로봇(예: Unitree H1 및 Fourier GR1)과 호환된다.

실험 결과

연구 질문

• RQ1 활성 스테레오 1인칭 시각 피드백은 원격 조작에서 운영자 성능과 작업 성공률을 향상시키는가?
• RQ2 몰입감 있는 머리 동기화 시각 피드백은 세밀한 조작 중 공간 이해도를 향상시키고 가림현상을 줄이는가?
• RQ3 Open-TeleVision을 통해 수집한 원격 조작 데이터는 다양한 과제에서 강력하고 장기적인 이mitation 학습 정책을 가능하게 하는가?
• RQ4 작업 성능 및 제어의 매끄러움 측면에서 스테레오 비전은 단안 또는 정적 카메라 뷰에 비해 어떻게 우월한가?
• RQ5 실시간 시각 및 운동 피드백을 통해 얼마나 낮은 지연으로 원격 조작이 가능할 수 있는가?

주요 결과

• 사용자 연구에서 스테레오 영상 사용 시 단안 또는 정적 뷰 대비 더 높은 작업 성공률과 더 짧은 완료 시간을 기록했다.
• 운영자들은 활성 머리 동기화 스테레오 비전을 사용할 경우 공간 인식 능력과 작업 집중도가 크게 향상되었다고 보고했다.
• Open-TeleVision 데이터를 기반으로 훈련된 이mitation 학습 정책은 순차적 캔 삽입 및 접기와 같은 장기적인 과제를 성공적으로 수행했다.
• 스테레오 이미지 입력을 사용함으로써 복잡한 환경에서 더 정밀하고 안정적인 조작이 가능해졌다.
• 시스템은 대륙 전체를 아우르는 미국 내 저지연 실시간 원격 조작을 가능하게 하여 확장성과 네트워크의 안정성을 입증했다.
• 다양한 손가락 제어 기능을 지원하고 유연성과 원격 조작 능력 면에서 이전의 원격 조작 프레임워크를 뛰어넘는 성능을 보였다.