[논문 리뷰] DexPilot: Vision Based Teleoperation of Dexterous Robotic Hand-Arm System

Ankur Handa, Karl Van Wyk외 7명|arXiv (Cornell University)|2019. 10. 07.

Robot Manipulation and Learning참고 문헌 36인용 수 10

한 줄 요약

DexPilot는 장갑이나 마커 없이 오직 빈 손 관찰만으로도 23자유도의 민감한 로봇 손-팔 시스템을 완전히 제어할 수 있는 저비용, 마커 없는 시각 기반 원격 조작 시스템을 제시한다. 딥 러닝 기반 손 추적, 비선형 운동학적 리타겟팅, GPU 가속 최적화를 조합함으로써 촉각 피드백이 없음에도 불구하고 복잡한 조작 작업에서 높은 작업 성공률을 달성한다.

ABSTRACT

Teleoperation offers the possibility of imparting robotic systems with sophisticated reasoning skills, intuition, and creativity to perform tasks. However, current teleoperation solutions for high degree-of-actuation (DoA), multi-fingered robots are generally cost-prohibitive, while low-cost offerings usually provide reduced degrees of control. Herein, a low-cost, vision based teleoperation system, DexPilot, was developed that allows for complete control over the full 23 DoA robotic system by merely observing the bare human hand. DexPilot enables operators to carry out a variety of complex manipulation tasks that go beyond simple pick-and-place operations. This allows for collection of high dimensional, multi-modality, state-action data that can be leveraged in the future to learn sensorimotor policies for challenging manipulation tasks. The system performance was measured through speed and reliability metrics across two human demonstrators on a variety of tasks. The videos of the experiments can be found at https://sites.google.com/view/dex-pilot.

연구 동기 및 목표

• 23자유도의 높은 자유도를 가진 로봇 손-팔 시스템을 위한 저비용, 마커 없는, 장갑 없는 원격 조작 시스템을 개발하는 것.
• 오직 시각적 인간 손 관찰을 통해 복잡한 작업을 정밀하고 민감하게 조작할 수 있도록 하는 것.
• 미래의 감각운동 정책 학습을 위해 고차원적이고 다중 모odal한 상태-행동 데이터를 수집하는 것.
• 높은 비용이나 제약이 있는 기존 원격 조작 시스템의 한계를 극복하면서도 높은 제어 정밀도를 유지하는 것.

제안 방법

• 사용자가 손을 움직이는 실시간 RGB-D 데이터를 확보하기 위해 4대의 Intel RealSense 깊이 카메라를 사용한다.
• 마커나 장갑 없이도 빈 손의 3차원 자세 추정을 딥 러닝 기반으로 수행하여 관절 위치를 추적한다.
• 로봇 손인 Allegro의 관절 공간에 인간 손 자세를 운동학적으로 리타겟팅하기 위해 새로운 비용 함수와 투영 방식을 적용한다.
• 비선형 최적화를 두 대의 NVIDIA GPU에서 수행하여 운동학적 일관성 문제를 해결하고 그립 가능성 유지한다.
• 부드럽고 반응성이 뛰어난 로봇 운동 제어를 위해 리emannian 운동 정책(RMP) 운동 생성기를 구현한다.
• 실시간 피드백 루프를 통합하여 인간의 움직임과 로봇 실행을 동기화하고 지연을 최소화한다.

Figure 1: Studio is composed of four cameras pointing towards the table over which the user moves their hand with the hand-arm system in close proximity to enable line of sight driven teleoperation.

실험 결과

연구 질문

• RQ1 저비용, 시각 기반 시스템이 장갑이나 마커 없이도 23자유도의 로봇 손-팔 시스템에 대해 신뢰성 있고 정밀한 원격 조작을 수행할 수 있는가?
• RQ2 오직 시각적 인간 손 추적은 정교한 민감한 조작 작업을 수행하는 데 얼마나 효과적인가?
• RQ3 추적 오차가 존재하는 상황에서도 운동학적 리타겟팅이 그립 가능성과 민감도를 얼마나 잘 유지하는가?
• RQ4 촉각 피드백이 없음에도 불구하고 복잡한 조작 작업에서 높은 작업 성공률을 달성할 수 있는가?
• RQ5 다양한 조작 시나리오에서 다양한 인간 운영자들 간에 시스템 성능은 어떻게 평가되는가?

주요 결과

• 시스템은 지갑에서 종이 화폐를 꺼내는 것과 네 손가락으로 두 큐브를 잡는 것과 같은 다양한 복잡한 조작 작업에서 높은 작업 성공률을 기록했다.
• 촉각 피드백이 없음에도 불구하고 두 명의 훈련된 인간 시범자들이 정교한 민감도가 요구되는 작업을 성공적으로 완수하여, 시각적 인지 및 계획 능력에 크게 의존하고 있음을 시사한다.
• 새로운 비용 함수를 적용한 운동학적 리타겟팅이 추적 오차가 중간 정도일 경우에도 그립 가능성과 정밀 제어를 유지하는 데 성공했다.
• 시스템은 풍부한 고차원 상태-행동 데이터 수집 능력을 입증했으며, 이는 92개의 촉각 신호, 23개의 관절 위치 및 속도, 토크 명령을 포함하여 향후 기반 학습 정책 개발에 기여할 수 있다.
• 0.1mm의 간극을 가진 편지 끼우기 시도에서 최적의 초기 배치 조건 하에서 약 10%의 성공률을 기록했으며, 이는 고정밀 작업의 과제를 강조한다.
• 손끝 접촉 시 손 추적 정확도 저하와 손가락 이동 간섭 현상 등으로 인해 시스템 성능이 제한되었으며, 향후 개선된 추적 및 제어 알고리즘으로 이를 완화할 수 있을 것으로 기대된다.

Figure 2: The system is comprised of three threads that operate on three different computers. The learning thread provides hand pose and joint angle priors using fused input point cloud coming from four cameras from the studio. The tracking thread runs DART for hand tracking with the priors as well