[论文解读] ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation

Zicong Fan, Omid Taheri+5 more|arXiv (Cornell University)|Apr 28, 2022

Human Pose and Action Recognition被引用 6

一句话总结

本论文提出了 ARCTIC，这是首个大规模的双臂精细操作联动物体的数据集，包含多视角RGB视频以及精确的3D手部与物体网格标注。该工作提出了两项新任务——一致运动重建与交互场估计，并提出了基线模型 ArcticNet 与 InterField，通过在 ARCTIC 上进行预训练，显著提升了下游任务（如手部与物体姿态估计）的性能。

ABSTRACT

Humans intuitively understand that inanimate objects do not move by themselves, but that state changes are typically caused by human manipulation (e.g., the opening of a book). This is not yet the case for machines. In part this is because there exist no datasets with ground-truth 3D annotations for the study of physically consistent and synchronised motion of hands and articulated objects. To this end, we introduce ARCTIC -- a dataset of two hands that dexterously manipulate objects, containing 2.1M video frames paired with accurate 3D hand and object meshes and detailed, dynamic contact information. It contains bi-manual articulation of objects such as scissors or laptops, where hand poses and object states evolve jointly in time. We propose two novel articulated hand-object interaction tasks: (1) Consistent motion reconstruction: Given a monocular video, the goal is to reconstruct two hands and articulated objects in 3D, so that their motions are spatio-temporally consistent. (2) Interaction field estimation: Dense relative hand-object distances must be estimated from images. We introduce two baselines ArcticNet and InterField, respectively and evaluate them qualitatively and quantitatively on ARCTIC. Our code and data are available at https://arctic.is.tue.mpg.de.

研究动机与目标

• 为解决当前缺乏大规模、物理一致且时间同步的3D数据集，用于双臂操作联动物体的研究。
• 支持从单目视频中实现手部与联动物体在时空上一致的3D重建。
• 研究超越二值接触的动态手-物体交互，包括密集的相对空间构型。
• 为学习复杂精细操作场景中物理上合理的手-物体动力学提供基准。
• 支持开发能够泛化至真实世界操作任务的模型，通过捕捉丰富的姿态与接触变化。

提出的方法

• 使用54台高分辨率Vicon动作捕捉相机与多视角RGB相机同步采集，实现对手部与联动物体的高精度3D网格重建。
• 通过MoSh++以及SMPL-X/MANO模型将手部与物体网格拟合至标记点数据，确保高保真度的3D标注。
• 数据集包含10名受试者与11种联动物体（如剪刀、笔记本电脑）的交互，共包含210万帧RGB图像，来自8个非主体视角与1个第一视角。
• 本文提出两项新任务：(1) 从单目视频中进行一致运动重建；(2) 估计手部顶点与物体表面之间的密集相对距离。
• 基线模型包括用于运动重建的 ArcticNet（编码器-解码器结构，结合循环时间建模）与用于交互场估计的 InterField（单帧与循环结构）。
• 通过改进自GRAB的管道捕获接触信息，实现对手部与物体之间动态接触的详细标注。

实验结果

研究问题

• RQ1 能否利用单目视频实现对两支手与联动物体在姿态、接触与关节运动上具有时空一致性的3D运动重建？
• RQ2 如何从RGB图像中估计手部顶点与物体表面之间的密集相对距离，以建模动态交互场？
• RQ3 在ARCTIC上进行预训练，对下游任务（如手部与刚性物体重建）的性能提升程度如何？
• RQ4 ARCTIC中交互的多样性与动态性相较于现有数据集，在姿态变化与接触复杂度方面有何差异？
• RQ5 在ARCTIC上训练的模型是否能泛化至包含联动与刚性物体的真实世界操作任务？

主要发现

• 在ARCTIC上预训练ArcticNet后，其在HO3D基准上进行手部姿态估计时，MPJPE（尺度-平移对齐）误差降低了9.2%。
• 在ARCTIC上预训练后，再在HO3D上微调进行物体重建，顶点到顶点误差（根节点对齐）降低了7.1%。
• 交互场估计基线模型InterField-SF在HO3D上实现泛化，证明了在现有数据集上实现密集空间交互建模的可行性。
• 定性结果表明，ARCTIC能够捕捉复杂且动态的手-物体交互，其姿态与接触变化的多样性显著超越现有数据集。
• 该数据集支持实现物理一致的运动建模，具备精确的接触与关节信息，有效应对精细操作中深度模糊与遮挡等挑战。
• ARCTIC为未来3D联动物体推理研究奠定了基础，支持开发可泛化至未知物体形状的模型。