[논문 리뷰] TeLeMan: Teleoperation for Legged Robot Loco-Manipulation using Wearable IMU-based Motion Capture

Chengxu Zhou, Christopher Peers외 3명|arXiv (Cornell University)|2022. 09. 21.

Robotic Locomotion and Control인용 수 9

한 줄 요약

이 논문은 보행 로봇의 운동 제어와 작업 제어를 실시간으로 직관적으로 제어할 수 있는 저비용 원격 운영 시스템 TeLeMan을 제안한다. 이 시스템은 착용형 자이로스코프 기반 운동 캡처와 VR을 활용하여, 보행 및 작업 제어를 동시에 구현한다. 기존 게임패드 제어 방식에 비해 폭발성 폭발물 제거(EOD) 작업의 완료 시간을 약 50% 감소시켜 더 빠르고 정밀한 작업 수행이 가능함을 입증하였으며, 최소한의 훈련으로도 뛰어난 성능을 발휘함을 보였다.

ABSTRACT

Human life is invaluable. When dangerous or life-threatening tasks need to be completed, robotic platforms could be ideal in replacing human operators. Such a task that we focus on in this work is the Explosive Ordnance Disposal. Robot telepresence has the potential to provide safety solutions, given that mobile robots have shown robust capabilities when operating in several environments. However, autonomy may be challenging and risky at this stage, compared to human operation. Teleoperation could be a compromise between full robot autonomy and human presence. In this paper, we present a relatively cheap solution for telepresence and robot teleoperation, to assist with Explosive Ordnance Disposal, using a legged manipulator (i.e., a legged quadruped robot, embedded with a manipulator and RGB-D sensing). We propose a novel system integration for the non-trivial problem of quadruped manipulator whole-body control. Our system is based on a wearable IMU-based motion capture system that is used for teleoperation and a VR headset for visual telepresence. We experimentally validate our method in real-world, for loco-manipulation tasks that require whole-body robot control and visual telepresence.

연구 동기 및 목표

• 폭발성 폭발물 제거(EOD)와 같은 고위험 방위 분야에서 사용 가능한 저비용이며 실시간 원격 운영 시스템을 개발하는 것.
• 착용형 IMU 기반 운동 캡처 시스템을 활용해 보행 및 작업 제어를 통합한 전체 신체 제어 문제를 해결하는 것.
• 전체 신체 운동 매핑과 VR 기반 시각적 원격 존재감을 통해 기존 게임패드 인터페이스에 비해 직관적이고 사용성 높은 원격 운영 성능 향상을 도모하는 것.
• 실제 EOD 작업 환경에서의 검증을 통해 시스템의 우수성을 속도, 정밀도 및 학습 가능성 측면에서 입증하는 것.

제안 방법

• 로봇의 적재 부담을 최소화하기 위해 경량화된 재구성된 5-자유도 로봇 팔(ViperX 300)을 4족 보행 로봇(Unitree Laikago)에 통합하는 것.
• 원격 조작자 전체 신체의 실시간 전체 신체 운동 추적을 위한 착용형 IMU 기반 운동 캡처 시스템(Perception Neuron)의 사용.
• 원격 조작자 캡처 시스템과 로봇 제어 컴퓨터 간의 저지연, 동기화된 통신을 위한 5 GHz Wi-Fi 6의 구현.
• 내장된 RGB-D 카메라(Intel Realsense)에서 유입되는 시각 피드백을 VR 헤드셋(HTC Vive Pro)에 융합하여 몰입감 있는 원격 존재감을 제공하는 것.
• 원격 조작자의 전체 신체 운동을 로봇의 조율된 보행 및 작업 명령으로 매핑하는 통합 제어 아키텍처 설계.
• 정기적인 校정이 필요 없이 장시간에 걸친 IMU 센서의 드리프트를 보완하기 위해 상대 운동 조정 기법을 적용하는 것.

실험 결과

연구 질문

• RQ1 착용형 IMU 기반 운동 캡처 시스템은 기존 게임패드 제어 방식에 비해 보행 로봇의 원격 운영을 더 직관적이고 정밀하게 가능하게 하는가?
• RQ2 제안된 시스템은 실제 EOD 상황에서 특히 속도와 정밀도 측면에서 얼마나 향상된 작업 성능을 제공하는가?
• RQ3 복잡한 보행-작업 제어 작업에서 운동 캡처 시스템을 사용할 경우와 게임패드를 사용할 경우 사용자의 성능은 연습에 따라 어떻게 변화하는가?
• RQ4 모바일 매니퓰레이터 원격 운영에서 VR 기반 시각 피드백과 운동 캡처를 통합할 때의 사용성 및 인체공학적 과제는 무엇인가?

주요 결과

• 착용형 IMU 기반 운동 캡처 시스템을 통해 평균 EOD 작업 완료 시간이 118초로 단축되어 기존 게임패드 기반 제어보다 유의미하게 빨라졌다.
• 2시간 미만의 훈련을 받은 한 사용자가 EOD 작업을 45초 이내로 완료하여 初기 성능 대비 거의 반으로 시간을 단축시켰으며, 이는 빠른 스킬 습득을 보여주었다.
• 운동 캡처 시스템은 이전 시험 대비 작업 제어 성능에서 30% 향상을 보였으며, 훈련에 따라 성능이 점진적으로 향상됨을 확인했다.
• 반면 게임패드 사용자는 훈련을 거치며 유의미한 성능 향상을 보이지 않아 성능 정체와 높은 학습 곡선을 보였다는 점에서 뚜렷한 차이를 보였다.
• 모든 사용자가 VR 세션 중 불편함을 느끼지 않았으며, 대부분의 사용자가 인간이 접근할 수 없는 또는 위험한 환경에서 운영하기에 VR이 적합한 매체라고 평가했다.
• 직관적인 상대 운동 조정 기법을 통해 IMU 드리프트를 효과적으로 보완하여 정기적인 校정 없이도 정확도를 유지함을 입증했다.