[論文レビュー] A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU

Shuang Li, Jiaxi Jiang+6 more|arXiv (Cornell University)|Mar 11, 2020

Robot Manipulation and Learning参考文献 31被引用数 5

ひとこと要約

本論文は、シャドウハンドを搭載したPR2ロボットのためのモバイルでマルチモーダルな遠隔操作システムを提示する。視覚ベースの深層学習ネットワーク（Transteleop）を用いてハンドポーズ推定を実行し、IMUベースの方法でアーム制御を実現している。Transteleopは、人間のハンド深度画像をロボットハンドの関節角度および再構築されたポーズに変換するための画像間変換を実行する。一方、ウェアラブルカメラホルダーにより全身の移動性が実現され、ピックアンドプレースやコップ挿入といった繊密な作業において、最高で100％の成功率を達成している。

ABSTRACT

In this paper, we present a multimodal mobile teleoperation system that consists of a novel vision-based hand pose regression network (Transteleop) and an IMU-based arm tracking method. Transteleop observes the human hand through a low-cost depth camera and generates not only joint angles but also depth images of paired robot hand poses through an image-to-image translation process. A keypoint-based reconstruction loss explores the resemblance in appearance and anatomy between human and robotic hands and enriches the local features of reconstructed images. A wearable camera holder enables simultaneous hand-arm control and facilitates the mobility of the whole teleoperation system. Network evaluation results on a test dataset and a variety of complex manipulation tasks that go beyond simple pick-and-place operations show the efficiency and stability of our multimodal teleoperation system.

研究の動機と目的

• 自然でマーカーレスかつモバイルな繊密なロボットハンドおよびアームの遠隔操作を可能にすること。
• 人間とロボットハンドの間の運動学的差異を、視覚ベースの画像間変換アプローチによって解消すること。
• 固定カメラシステムの作業領域制限を克服するため、ウェアラブルカメラホルダーを導入すること。
• 視覚ベースのハンド制御とIMUベースのアーム制御を統合し、完全なハンド・アーム連携を実現すること。
• 単純なピックアンドプレースをはるかに超える複雑な現実世界の操作タスクにおいて、信頼性の高い性能を示すこと。

提案手法

• Transteleopは、人間のハンド深度画像からロボットハンドの関節角度および再構築画像への画像間変換を実行する視覚ベースの深層ニューラルネットワークである。
• ネットワークは、人間とロボットハンドの局所的特徴の忠実性および解剖学的類似性を向上させるためにキーポoinベースの再構築損失を用いる。
• 自ら設計したウェアラブルカメラホルダーにより、深度カメラをオペレーターの腕に装着し、遠隔操作中における連続的なトラッキングと移動性を実現する。
• オペレーターの腕に取り付けたIMUセンサーが、リアルタイムの運動データを提供し、ロボットアームの制御を柔軟かつ応答的に実現する。
• 視覚ベースのハンド制御とIMUベースのアーム制御を統合し、統一されたマルチモーダル遠隔操作フレームワークを構築する。
• 本手法は、多様なハンドポーズと複雑な操作タスクを含む独自のデータセット上で訓練および評価されている。

実験結果

リサーチクエスチョン

• RQ1 視覚ベースの画像間変換ネットワークは、運動学的および解剖学的類似性を保持しつつ、人間のハンドポーズをロボットハンドの関節構成に効果的にマッピングできるか？
• RQ2 固定カメラセットアップと比較して、ウェアラブルカメラホルダーは遠隔操作システムの移動性と使いやすさをどのように向上させるか？
• RQ3 視覚とIMUの統合アプローチは、現実世界のタスクにおいて、安定的かつ繊密な完全なハンド・アームロボットシステムの制御をどの程度可能にするか？
• RQ4 二本のアームを用いたハンドオーバーや物体プushingといった、正確さと調整を要する複雑な操作タスクにおける本システムのパフォーマンスはいかがなものか？
• RQ5 キーポイントベースの再構築損失は、生成されたロボットハンド画像の品質および制御精度をどの程度向上させるか？

主な発見

• ピックアンドプレースおよびコップ挿入タスクにおいて、100％の成功率を達成し、効果的な精度 grasping およびパワー grasping の能力を示した。
• ピックアンドプレースタスクの平均完了時間は、18.5秒（pick1）および37.2秒（pick2）であり、効率的なタスク実行を示している。
• 物体プushingタスクの成功率は80％であり、方向制御の難易度および5mm未満の高精度を要する課題のため、完了時間が長くなった。
• 二本アームハンドオーバータスクの成功率は60％であり、主に左グリッパーの制御が不正確で、移行中に物体を紛失するための制限要因に起因する。
• キーポイントベースの再構築損失は、生成されたロボットハンド画像の局所的特徴の品質を顕著に向上させ、ポーズ推定の正確性を高めた。
• ウェアラブルカメラホルダーにより、制限のない移動性が実現され、オペレーターが自然な姿勢を保ち、ロボットを直接向いて作業できるようになり、タスクへの関与度とパフォーマンスが向上した。