[論文レビュー] Vision-based Teleoperation of Shadow Dexterous Hand using End-to-End Deep Neural Network

Shuang Li, Xiaojian Ma+6 more|arXiv (Cornell University)|Sep 17, 2018

Robot Manipulation and Learning参考文献 27被引用数 7

ひとこと要約

本稿では、人間の手の深度画像を直接シャドウ多関節ロボット手の関節角にマッピングするエンドツーエンドの深層ニューラルネットワーク、TeachNetを提案する。この手法により、マーカーレスで直感的な遠隔操作が可能となり、最先端の手法と比較して初心者ユーザーによる grasping タスクがより高速かつ正確に実行できる。本手法は、解剖学的および外見的差異に対処するため、一貫性損失を用いた40万件のサンプルから成る人間-ロボットの深度画像および関節角データセットを活用している。

ABSTRACT

In this paper, we present TeachNet, a novel neural network architecture for intuitive and markerless vision-based teleoperation of dexterous robotic hands. Robot joint angles are directly generated from depth images of the human hand that produce visually similar robot hand poses in an end-to-end fashion. The special structure of TeachNet, combined with a consistency loss function, handles the differences in appearance and anatomy between human and robotic hands. A synchronized human-robot training set is generated from an existing dataset of labeled depth images of the human hand and simulated depth images of a robotic hand. The final training set includes 400K pairwise depth images and joint angles of a Shadow C6 robotic hand. The network evaluation results verify the superiority of TeachNet, especially regarding the high-precision condition. Imitation experiments and grasp tasks teleoperated by novice users demonstrate that TeachNet is more reliable and faster than the state-of-the-art vision-based teleoperation method.

研究の動機と目的

• 人間の手の深度画像のみを用いて、直感的でマーカーレスな多関節ロボット手の遠隔操作を可能にすること。
• 解剖学的および視覚的に異なる人間の手とロボット手の間のマッピングをエンドツーエンドの方法で解決すること。
• 中間のポーズ推定や後処理に依存することなく、入力の深度画像から直接ロボット関節角を回帰することにより、依存度を低減すること。
• エンドツーエンドのビジョンベース遠隔操作システムを訓練するためのスケールの大きな同期化された人間-ロボットデータセットの作成。
• 初心者オペレータの操作時間と誤差を最小限に抑えることで、使いやすさを向上させること。

提案手法

• 人間の手の深度画像からロボット関節角への直接的な運動学的マッピングを学習する教師-生徒型ニューラルネットワークアーキテクチャであるTeachNetの設計。
• 実際の人の手の深度画像と、対応するポーズにおけるシャドウ手のシミュレーテッド深度画像を組み合わせた40万件のサンプルデータセットの作成。
• ロボット手の直交座標位置とリンク方向を人間の手ポーズと一致させる一貫性損失関数の使用により、解剖学的差異にわたる一般化性能が向上する。
• 人間の手のキーポイント位置とリンク方向からロボット関節角を推定する最適化されたマッピング手法の実装。自己衝突制約も考慮している。
• 中間のポーズ推定を経由せずに、ペアドされた深度画像と真値のロボット関節角を用いて、エンドツーエンドでネットワークを訓練。
• 訓練済みモデルをリアルタイムの遠隔操作にデプロイ。人間オペレータからのライブ深度入力を直接ロボット関節コマンドにマッピングする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層ニューラルネットワークは、明示的なポーズ推定を経由せずに、人間の手の深度画像からロボット手関節角への正確で頑健なマッピングを学習できるか？
• RQ2 提案された一貫性損失は、人間とロボット手の間の解剖学的および外見的差異に対処するためにどの程度効果的か？
• RQ3 提案手法は、最先端のデータ駆動型手法と比較して、初心者ユーザーの遠隔操作の速度と正確性をどの程度向上させるか？
• RQ4 遮蔽や非理想的な照明条件下では、システムの性能がどの程度低下するか？
• RQ5 本手法は、多様な形状やサイズの物体を含む複雑なグリッピングタスクへ一般化可能か？

主な発見

• TeachNetは、他のエンドツーエンドベースラインと比較して、特に高精度な条件下でより高い正確性と低い誤差を達成した。
• 初心者ユーザーは、TeachNetを用いることで、インハンドグリップおよびリリースタスクを平均して44％速く完了した（TeachNet：20.73秒、HandIKベースライン：36.39秒）。
• ボトルやマグなど大径の物体を扱うタスクでは、HandIKの親指の精度が低いため遅延が生じるが、本手法は著しく優れていた。
• 最も長いタスク時間はバナナ（25.80秒）で記録され、その長さと細さから指先の制御が正確に必要だったためとされる。
• 顕著な誤差は主に指の第2・第3関節および親指の基底関節に発生しており、シャドウ手の複雑な運動学的構造と遮蔽が原因であると推測される。
• 固定された手首関節を有するロボットでも、明示的な関節対応定義なしに、人間のジェスチャーを信頼性高くリアルタイムで模倣できた。