[論文レビュー] DexPilot: Vision Based Teleoperation of Dexterous Robotic Hand-Arm System

Ankur Handa, Karl Van Wyk+7 more|arXiv (Cornell University)|Oct 7, 2019

Robot Manipulation and Learning参考文献 36被引用数 10

ひとこと要約

DexPilotは、手袋やマーカーを一切使用せずに裸手の観察のみで、23自由度の高機能なロボットハンドアーム系を完全に制御できる低コストでマーカーレスなビジョンベースの遠隔操作システムを提示する。ディープラーニングに基づく手の追跡、非線形キネマティックリターゲティング、GPUアクセcelerated最適化を組み合わせることで、触覚フィードバックが欠如しているにもかかわらず、複雑な操作タスクにおいて高いタスク成功確率を達成している。

ABSTRACT

Teleoperation offers the possibility of imparting robotic systems with sophisticated reasoning skills, intuition, and creativity to perform tasks. However, current teleoperation solutions for high degree-of-actuation (DoA), multi-fingered robots are generally cost-prohibitive, while low-cost offerings usually provide reduced degrees of control. Herein, a low-cost, vision based teleoperation system, DexPilot, was developed that allows for complete control over the full 23 DoA robotic system by merely observing the bare human hand. DexPilot enables operators to carry out a variety of complex manipulation tasks that go beyond simple pick-and-place operations. This allows for collection of high dimensional, multi-modality, state-action data that can be leveraged in the future to learn sensorimotor policies for challenging manipulation tasks. The system performance was measured through speed and reliability metrics across two human demonstrators on a variety of tasks. The videos of the experiments can be found at https://sites.google.com/view/dex-pilot.

研究の動機と目的

• 23自由度の高機能なロボットハンドアーム系のための低コストでマーカーレスかつグローブフリーな遠隔操作システムの開発。
• 人間の手のビジョンオンリーモニタリングに基づき、複雑なタスクにおける正確で器用な操作を実現すること。
• 将来的なセンサーモーターポリシーの学習のための高次元でマルチモーダルな状態-行動データの収集。
• 高価または制限が厳しい従来の遠隔操作システムの限界を克服しつつ、高い制御忠実度を維持すること。

提案手法

• 人間の手のリアルタイムなRGB-Dデータを取得するために4台のIntel RealSense深度カメラを用いる。
• マーカーやグローブを一切使用しない裸手の3次元ポーズ推定にディープラーニングを活用し、関節位置を追跡する。
• 独自のコスト関数とプロジェクション方式を用いて、人間の手のポーズをAllegroロボットハンドの関節空間にキネマティックリターゲティングする。
• 2台のNVIDIA GPUを用いた非線形最適化により、キネマティックな不整合を解消し、グリップの可能性を維持する。
• 滑らかで応答性の高いロボットの運動制御を実現するため、リーマン運動方策（RMP）モーションジェネレータを実装する。
• 人間の運動とロボットの実行を同期させるリアルタイムフィードバックループを統合し、遅延を最小限に抑える。

Figure 1: Studio is composed of four cameras pointing towards the table over which the user moves their hand with the hand-arm system in close proximity to enable line of sight driven teleoperation.

実験結果

リサーチクエスチョン

• RQ1 低コストでビジョンベースのシステムは、グローブやマーカーなしで23自由度のロボットハンドアーム系を信頼性高く正確に遠隔操作できるか？
• RQ2 ビジョンオンリーの人の手の追跡は、細かな器用な操作タスクの実行にどの程度有効か？
• RQ3 追跡誤差が生じた場合でも、キネマティックリターゲティングがグリップの可能性と器用さをどの程度維持できるか？
• RQ4 触覚フィードバックが欠如している状況でも、複雑な操作タスクで高いタスク成功確率を達成できるか？
• RQ5 さまざまな操作シナリオにおいて、異なる人間の被験者に対して、このシステムの性能はどの程度であるか？

主な発見

• 本システムは、財布から紙幣を引き出す、4本の指で2つのキューブをつかむなど、多様な複雑な操作タスクにおいて高いタスク成功確率を達成した。
• 触覚フィードバックが欠如しているにもかかわらず、2名の訓練済みの人間被験者が細かな器用さを要するタスクを成功裏に完了させた。これは、視覚的知覚と認知的計画に強く依存していることを示している。
• 独自のコスト関数を用いたキネマティックリターゲティングにより、中程度の手の追跡誤差が生じてもグリップの可能性が維持され、正確な制御が可能になった。
• 本システムは、92のタクトイル信号、23の関節位置・速度、トルク指令を含む、豊富で高次元の状態-行動データの収集が可能であり、将来的な学習ベースのポリシー開発に貢献できる。
• 0.1 mmのクリアランスをもつペグインホール挿入作業は、最適な初期配置条件下で約10％の成功率を示した。これは、高精度タスクの挑戦性を示している。
• 指先の接触時における手の追跡不正確さや、指の動きの干渉が、システムの性能を制限する要因であった。これらは、より洗練された追跡および制御アルゴリズムにより緩和可能である。

Figure 2: The system is comprised of three threads that operate on three different computers. The learning thread provides hand pose and joint angle priors using fused input point cloud coming from four cameras from the studio. The tracking thread runs DART for hand tracking with the priors as well