[论文解读] DexYCB: A Benchmark for Capturing Hand Grasping of Objects

Yu-Wei Chao, Wei Yang+10 more|arXiv (Cornell University)|Apr 9, 2021

Hand Gesture Recognition Systems被引用 7

一句话总结

DexYCB 引入了一个大规模的真实世界 RGB-D 数据集，记录了 1,000 个手-物体交互序列，包含 20 种 YCB 物体，支持联合 3D 手部与物体姿态估计。该基准评估了最先进方法在 2D 检测、6D 姿态估计和 3D 手部姿态估计方面的性能，表明联合估计显著提升了人机交接任务中安全机器人抓取的生成效果。

ABSTRACT

We introduce DexYCB, a new dataset for capturing hand grasping of objects. We first compare DexYCB with a related one through cross-dataset evaluation. We then present a thorough benchmark of state-of-the-art approaches on three relevant tasks: 2D object and keypoint detection, 6D object pose estimation, and 3D hand pose estimation. Finally, we evaluate a new robotics-relevant task: generating safe robot grasps in human-to-robot object handover. Dataset and code are available at https://dex-ycb.github.io.

研究动机与目标

• 为解决缺乏真实世界数据集记录自然抓取过程中同步 3D 手部与物体姿态的问题。
• 在单一基准中实现 2D 检测、6D 物体姿态估计和 3D 手部姿态估计的联合评估。
• 评估联合手-物体姿态估计对机器人相关任务的影响，特别是人机交接任务中安全机器人抓取的生成效果。
• 提供一种可扩展的、无标记的数据采集流程，利用多视角 RGB-D 相机与人工标注的 3D 姿态，确保准确性和自然运动表现。

提出的方法

• 部署了由 8 台 RGB-D 相机（RealSense D415）组成的系统，经过时间与外部参数校准，以捕捉一个大型桌面工作区域，最大限度减少视觉盲区。
• 从 10 名受试者对 20 种 YCB 物体执行抓取动作中，共采集了 582,000 帧 RGB-D 图像，涵盖 1,000 个序列，包含多样的抓取方式与物体配置。
• 通过众包方式人工标注 3D 手部与物体姿态，确保高精度与自然运动的表达，避免标记点或传感器系统带来的偏差。
• 在三个任务上评估最先进模型：2D 物体与关键点检测、6D 物体姿态估计（使用 YOLOX、YOLACT 和 Mask-RCNN 等方法）、3D 手部姿态估计（使用 A2J 和基于 HRNet 的模型）。
• 提出一项新型机器人任务：基于预测的 6D 物体姿态与手部分割，生成多样化且安全的机器人抓取，抓取质量通过精确度与覆盖率指标衡量。
• 通过最远点采样定义每类物体的 100 个成功抓取参考集，并使用空间与姿态阈值（σt=0.05m，σq=0.25rad）评估预测抓取的匹配度。

实验结果

研究问题

• RQ1 DexYCB 在手-物体交互任务的跨数据集泛化能力上与现有数据集相比如何？
• RQ2 与单独训练相比，联合 3D 手部与物体姿态估计在 2D 检测、6D 姿态估计和 3D 手部姿态估计任务上的性能提升程度如何？
• RQ3 联合手-物体姿态估计是否能显著提升安全人机交接任务中机器人抓取的质量？
• RQ4 在跨受试者与跨视角泛化条件下，不同主干网络架构（如 HRNet 与 ResNet）及输入模态（如深度图）对 3D 手部姿态估计性能有何影响？
• RQ5 抓取生成的主要失败模式是什么？它们与物体姿态误差或手部分割失败有何关联？

主要发现

• 在跨数据集评估中，DexYCB 表现优于相关数据集，展现出更强的手-物体交互任务泛化能力。
• HRNet32 搭配深度输入在已见受试者（S0）上达到 52.26 mm 的绝对 MPJPE，但在未见视角（S2）上性能下降至 80.63 mm，凸显了跨视角泛化的挑战。
• A2J 在绝对 MPJPE 上优于基线 3D 手部姿态估计方法（S0 上为 12.07 mm vs. HRNet32 的 6.83 mm Procrustes MPJPE），但在关节连贯性精度方面表现不佳。
• 随着物体姿态估计性能的提升，抓取生成的精确度与覆盖率显著提高；表现最佳的物体姿态方法在 S1 上实现了高覆盖率，其精确度-覆盖率曲线如图 4 所示。
• 抓取生成的主要失败原因是物体姿态不准确（如 0.05m 的平移误差）以及手部被物体部分遮挡时检测失败。
• 基于手部分割与估计物体姿态的基线抓取生成方法表现尚可，但失败主要源于遮挡与姿态误差，提示需要引入基于模型的手部形状预测。