[논문 리뷰] A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU

Shuang Li, Jiaxi Jiang외 6명|arXiv (Cornell University)|2020. 03. 11.

Robot Manipulation and Learning참고 문헌 31인용 수 5

한 줄 요약

이 논문은 PR2 로봇에 실장된 샤로우 핸드를 위한 이동식이고 다중 모odal 텔레옵에이션 시스템을 제안한다. 이 시스템은 인간의 손 자세 추정을 위한 시각 기반 딥 러닝 네트워크(Transteleop)와 IMU 기반 제어 방법을 융합한다. Transteleop는 인간의 손 깊이 영상에서 로봇 손 관절 각도와 재구성된 자세로의 이미지 간 변환을 수행하며, 착용 가능한 카메라 홀더를 통해 전신 이동성을 확보하여, 핸드-투-플레이스 및 컵 삽입과 같은 다재도 있는 작업에서 최대 100%의 높은 성공률를 달성한다.

ABSTRACT

In this paper, we present a multimodal mobile teleoperation system that consists of a novel vision-based hand pose regression network (Transteleop) and an IMU-based arm tracking method. Transteleop observes the human hand through a low-cost depth camera and generates not only joint angles but also depth images of paired robot hand poses through an image-to-image translation process. A keypoint-based reconstruction loss explores the resemblance in appearance and anatomy between human and robotic hands and enriches the local features of reconstructed images. A wearable camera holder enables simultaneous hand-arm control and facilitates the mobility of the whole teleoperation system. Network evaluation results on a test dataset and a variety of complex manipulation tasks that go beyond simple pick-and-place operations show the efficiency and stability of our multimodal teleoperation system.

연구 동기 및 목표

• 자연스럽고 마커가 없는, 이동 가능한 다재도 있는 로봇 손과 팔의 텔레옵에이션을 가능하게 하기 위해.
• 인간 손과 로봇 손 간의 운동학적 불일치를 시각 기반의 이미지 간 변환 방법을 통해 해결하기 위해.
• 고정 카메라 시스템의 작업 공간 제약을 극복하기 위해 착용 가능한 카메라 홀더를 도입하기 위해.
• 시각 기반 손 제어와 IMU 기반 팔 제어를 융합하여 전체 손-팔 조율 제어를 실현하기 위해.
• 간단한 핸드-투-플레이스를 넘어서 실제 복잡한 조작 작업에서 신뢰할 수 있는 성능을 입증하기 위해.

제안 방법

• Transteleop는 인간 손 깊이 영상에서 로봇 손 관절 각도와 재구성된 영상으로의 이미지 간 변환을 수행하는 시각 기반 딥 네트워크이다.
• 네트워크는 인간 손과 로봇 손 간의 국소적 특징 정합성과 해부학적 유사성을 향상시키기 위해 관절점 기반 재구성 손실을 사용한다.
• 자체 설계한 착용 가능한 카메라 홀더는 깊이 카메라를 운영자의 팔에 고정하여 텔레옵에이션 중 지속적인 추적과 이동성을 가능하게 한다.
• 운영자의 팔에 부착된 IMU 센서는 실시간 운동 데이터를 제공하여 로봇 팔 제어를 유연하고 반응적으로 구현한다.
• 이 시스템은 시각 기반 손 제어와 IMU 기반 팔 제어를 통합하여 통합된 다중 모달 텔레옵에이션 프레임워크를 구성한다.
• 이 방법은 다양한 손 자세와 복잡한 조작 작업을 포함한 고유 데이터셋을 기반으로 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 시각 기반의 이미지 간 변환 네트워크가 인간 손 자세를 로봇 손 관절 구성으로 효과적으로 매핑하면서도 운동학적 및 해부학적 유사성을 유지할 수 있는가?
• RQ2 고정 카메라 설정 대비 착용 가능한 카메라 홀더가 텔레옵에이션 시스템의 이동성과 사용성에 어떻게 기여하는가?
• RQ3 시각과 IMU의 융합된 접근 방식이 실제 작업에서 안정적이고 다재도 있는 전체 손-팔 로봇 시스템 제어를 어느 정도 가능하게 하는가?
• RQ4 이중 팔 손길이나 물체 밀기와 같은 정밀성과 조율이 요구되는 복잡한 조작 작업에서 시스템의 성능은 어떠한가?
• RQ5 관절점 기반 재구성 손실이 생성된 로봇 손 영상의 품질과 현실성, 제어 정확도에 어떻게 기여하는가?

주요 결과

• 핸드-투-플레이스 및 컵 삽입 작업에서 100%의 성공률를 기록하여 정밀한 그립과 강력한 그립 능력을 효과적으로 입증하였다.
• 핸드-투-플레이스 작업의 평균 완료 시간은 18.5초 (pick1) 및 37.2초 (pick2)였으며, 이는 효율적인 작업 실행을 의미한다.
• 물체 밀기 작업은 80%의 성공률를 기록하였으며, 방향 제어 및 5mm 미만 정밀도 도전 과제로 인해 더 긴 완료 시간을 기록하였다.
• 이중 팔 손길 작업은 60%의 성공률를 기록하였으며, 주로 왼쪽 그립기 제어의 정밀도 부족과 전달 중 물체 손실로 인해 제한되었다.
• 관절점 기반 재구성 손실은 생성된 로봇 손 영상의 국소적 특징 품질을 크게 향상시켜 자세 추정 정확도를 향상시켰다.
• 착용 가능한 카메라 홀더는 제한 없는 이동성을 가능하게 하여 운영자가 자연스러운 자세를 유지하고 로봇을 직접 향해 볼 수 있도록 하여 작업 참여도와 성능을 향상시켰다.