[論文レビュー] TeLeMan: Teleoperation for Legged Robot Loco-Manipulation using Wearable IMU-based Motion Capture

Chengxu Zhou, Christopher Peers+3 more|arXiv (Cornell University)|Sep 21, 2022

Robotic Locomotion and Control被引用数 9

ひとこと要約

本論文では、ウェアラブルIMUベースのモーショングラプチャとVRを用いた、歩行型マニピュレーターロボットのリアルタイムで直感的な走行および操作制御を実現する低コスト遠隔操作システムTeLeManを提案する。従来のゲームパッド制御と比較して、爆発物処理（EOD）タスクの実行が約50%速くなり、わずかな訓練でより高速かつ正確にタスクを遂行できる。

ABSTRACT

Human life is invaluable. When dangerous or life-threatening tasks need to be completed, robotic platforms could be ideal in replacing human operators. Such a task that we focus on in this work is the Explosive Ordnance Disposal. Robot telepresence has the potential to provide safety solutions, given that mobile robots have shown robust capabilities when operating in several environments. However, autonomy may be challenging and risky at this stage, compared to human operation. Teleoperation could be a compromise between full robot autonomy and human presence. In this paper, we present a relatively cheap solution for telepresence and robot teleoperation, to assist with Explosive Ordnance Disposal, using a legged manipulator (i.e., a legged quadruped robot, embedded with a manipulator and RGB-D sensing). We propose a novel system integration for the non-trivial problem of quadruped manipulator whole-body control. Our system is based on a wearable IMU-based motion capture system that is used for teleoperation and a VR headset for visual telepresence. We experimentally validate our method in real-world, for loco-manipulation tasks that require whole-body robot control and visual telepresence.

研究の動機と目的

• 爆発物処理（EOD）を含む高リスクな防衛分野における、コスト効率が良く、リアルタイムな歩行型マニピュレーターロボットの遠隔操作システムを開発すること。
• ウェアラブルIMUベースのモーショングラプチャシステムを用いて、走行と操作を統合的に制御する課題を解決すること。
• 全身の動きマッピングとVRによる視覚的遠隔存在感を活用し、従来のゲームパッドインターフェースよりも直感的で使いやすい遠隔操作を実現すること。
• 現実世界のEODタスクにおいて、現実的な条件下でシステムの有効性を検証し、速度、正確性、習得のしやすさの面で優れた性能を示すこと。

提案手法

• 負荷を最小限に抑えるために、軽量で再設計された5自由度のロボットアーム（ViperX 300）を四足歩行ロボット（Unitree Laikago）に統合する。
• 遠隔操作者の全身の動きをリアルタイムで追跡するため、ウェアラブルIMUベースのモーショングラプチャシステム（Perception Neuron）を採用する。
• 遠隔操作者のモーショングラプチャシステムとロボットの制御コンピュータ間で、低遅延かつ同期された通信を実現するため、5 GHz Wi-Fi 6を採用する。
• 搭載されたRGB-Dカメラ（Intel Realsense）からの視覚フィードバックをVRヘッドセット（HTC Vive Pro）に統合し、没入型の遠隔存在感を実現する。
• 遠隔操作者の全身の動きを、ロボットの走行と操作の両方の命令に統合的にマッピングする制御アーキテクチャを設計する。
• 頻繁なキャリブレーションが不要な状態で、IMUセンサの長期的ドリフトを補正する相対的移動調整を適用する。

実験結果

リサーチクエスチョン

• RQ1 ウェアラブルIMUベースのモーショングラプチャシステムは、従来のゲームパッド制御と比較して、歩行型マニピュレーターロボットの遠隔操作をより直感的かつ正確に行えるか？
• RQ2 提案されたシステムは、現実世界のEODシナリオにおいて、特に速度と正確性の面でどの程度タスクパフォーマンスを向上させるか？
• RQ3 複雑な走行・操作タスクにおいて、モーショングラプチャシステムとゲームパッドを使用した場合、ユーザーのパフォーマンスは練習を重ねるごとにどのように変化するか？
• RQ4 モバイルマニピュレーターの遠隔操作において、VRベースの視覚フィードバックとモーショングラプチャを統合する際の使いやすさとエルゴノミクス上の課題は何か？

主な発見

• ウェアラブルIMUベースのモーショングラプチャシステムを用いることで、EODタスクの平均完了時間が118秒にまで短縮され、ゲームパッド制御と比較して顕著に高速化された。
• 2時間未満の訓練経験しか持たない1名のユーザーが、EODタスクを45秒未満で完了した。初期のパフォーマンスと比較してほぼ半分の時間で達成したため、急速なスキル習得が確認された。
• モーショングラプチャシステムでは、初期の試行と比較して、操作タスクのパフォーマンスが30%向上し、練習を重ねるごとに着実に向上した。
• 対照的に、ゲームパッドユーザーは練習を重ねても明確な改善を示さず、パフォーマンスの頭打ちと高い習得曲線が確認された。
• すべてのユーザーがVRセッション中に不快感を報告せず、ほとんどのユーザーが、人間がアクセスできないか危険な環境での作業にVRが適していると考えた。
• 直感的な相対的移動調整により、IMUのドリフトが効果的に補正され、頻繁なキャリブレーションが不要な状態で正確性を維持できた。