[論文レビュー] DexYCB: A Benchmark for Capturing Hand Grasping of Objects

Yu-Wei Chao, Wei Yang+10 more|arXiv (Cornell University)|Apr 9, 2021

Hand Gesture Recognition Systems被引用数 7

ひとこと要約

DexYCBは、20個のYCBオブジェクトを用いた1,000件のハンドオブジェクトインタラクションシーケンスを収録した大規模な実世界のRGB-Dデータセットを提供し、3次元ハンドとオブジェクトのポーズ推定を同時に可能にする。ベンチマークでは、2次元検出、6次元ポーズ推定、3次元ハンドポーズの3つのタスクにおいて最先端の手法を評価し、人間からロボットへの手渡しタスクにおける安全なロボットグリップ生成が顕著に向上することを示している。

ABSTRACT

We introduce DexYCB, a new dataset for capturing hand grasping of objects. We first compare DexYCB with a related one through cross-dataset evaluation. We then present a thorough benchmark of state-of-the-art approaches on three relevant tasks: 2D object and keypoint detection, 6D object pose estimation, and 3D hand pose estimation. Finally, we evaluate a new robotics-relevant task: generating safe robot grasps in human-to-robot object handover. Dataset and code are available at https://dex-ycb.github.io.

研究の動機と目的

• 自然なグリップインタラクション中に同時進行する3次元ハンドとオブジェクトのポーズを捉えた実世界データセットの不足を解消すること。
• 1つのベンチマークで2次元検出、6次元オブジェクトポーズ推定、3次元ハンドポーズ推定の3つのタスクを統合的に評価すること。
• 共同ハンドオブジェクトポーズ推定がロボティクス関連タスク、特に人間からロボットへのオブジェクト手渡しにおける安全なロボットグリップ生成に与える影響を評価すること。
• マルチビューアイリスRGB-Dカメラと人間によるアノテーション付き3次元ポーズを用いた、スケーラブルでマーカーレスなデータ収集パイプラインを提供し、正確性と自然な運動を確保すること。

提案手法

• 時間的・外挿的キャリブレーションを施した8台のRGB-Dカメラ（RealSense D415）を配置し、最小限の視界の死角を持つ大規模な卓上作業領域を捉える。
• 10名の被験者が20個のYCBオブジェクトを用いてグリップ動作を実行し、合計1,000件のシーケンス、582,000フレームのRGB-Dフレームを収集した。グリップスタイルやオブジェクトの配置に多様性を確保した。
• マーカーまたはセンサーベースのシステムに起因するバイアスを避けるために、クラウドソーシングを用いて人間による3次元ハンドおよびオブジェクトポーズのアノテーションを実施し、高精度かつ自然な運動表現を確保した。
• YOLOX、YOLACT、Mask-RCNNなどの手法を用いた6次元オブジェクトポーズ推定（6D pose estimation）と、A2JおよびHRNetベースのモデルを用いた3次元ハンドポーズ推定（3D hand pose estimation）の3つのタスクにおいて、最先端のモデルを評価した。
• 予測された6次元オブジェクトポーズとハンドセグメンテーションを用いて、多様で安全なロボットグリップを生成する、新しいロボティクスタスクを提案。グリップ品質は正確性（precision）とカバレッジ（coverage）の指標で測定した。
• 最も遠い点サンプリングを用いて各オブジェクトごとに100件の成功グリップを基準セットとして定義し、予測されたグリップを空間的および方向的閾値（σt=0.05m、σq=0.25rad）で一致させる基準を設けた。

実験結果

リサーチクエスチョン

• RQ1 DexYCBは、ハンドオブジェクトインタラクションタスクにおけるクロスデータセット一般化性能において、既存のデータセットと比較してどのように差をつけるか？
• RQ2 分離して訓練する場合と比較して、共同3次元ハンドとオブジェクトポーズ推定は、2次元検出、6次元ポーズ推定、3次元ハンドポーズ推定の各タスクでどの程度性能を向上させるか？
• RQ3 共同ハンドオブジェクトポーズ推定は、人間からロボットへのオブジェクト手渡しにおける安全なロボットグリップ生成の質を顕著に向上させることができるか？
• RQ4 クロスサブジェクトおよびクロスビュー一般化の下で、3次元ハンドポーズ推定性能に与えるバックボーンアーキテクチャ（例：HRNet対ResNet）や入力モodal（例：深度）の影響は何か？
• RQ5 グリップ生成の主な失敗モードは何か？また、それらはオブジェクトポーズの誤差やハンドセグメンテーションの漏れとどのように関連しているか？

主な発見

• クロスデータセット評価においてDexYCBは類似データセットを上回る性能を示し、ハンドオブジェクトインタラクションタスクにおける優れた一般化性能を確認した。
• HRNet32に深度入力を用いた場合、被験者S0（既知の被験者）では52.26 mmの絶対MPJPEを達成したが、未観測の視点（S2）では80.63 mmに低下し、クロスビュー一般化の課題が顕著に現れた。
• A2Jは、S0におけるHRNet32のProcrustes MPJPE（6.83 mm）と比較して絶対MPJPEが12.07 mmと優れた性能を示したが、関節の可動性の正確性には課題を抱えていた。
• より正確なオブジェクトポーズ推定が進むほど、グリップ生成の正確性とカバレッジが顕著に向上した。最も性能の高かったオブジェクトポーズ推定手法は、S1において高いカバレッジを達成し、図4の精度-カバレッジ曲線に示された。
• グリップ生成の主な失敗モードは、オブジェクトポーズの不正確さ（例：0.05mのトランスレーション誤差）と、オブジェクトに部分的に隠された場合のハンド検出漏れに起因していた。
• ハンドセグメンテーションと推定されたオブジェクトポーズを用いたベースライングリップ生成手法は、妥当な性能を示したが、主な失敗原因は遮蔽とポーズ誤差に起因しており、モデルベースのハンド形状予測の導入が求められると示唆された。