[论文解读] DART: Articulated Hand Model with Diverse Accessories and Rich Textures

Daiheng Gao, Yuliang Xiu+7 more|arXiv (Cornell University)|Oct 14, 2022

Robot Manipulation and LearningEngineering被引用 18

一句话总结

DART 是一个逼真且可动的手部模型，通过在 MANO 基础上扩展 325 种手工制作的纹理和 50 个 3D 配饰，显著提升了真实感。它通过 Unity 图形界面实现高保真度的合成手部数据生成，从而构建出 DARTset——一个包含 800,000 张多样化且完全标注的图像数据集，显著提升了手部姿态估计与网格重建任务中的泛化能力。

ABSTRACT

Hand, the bearer of human productivity and intelligence, is receiving much attention due to the recent fever of digital twins. Among different hand morphable models, MANO has been widely used in vision and graphics community. However, MANO disregards textures and accessories, which largely limits its power to synthesize photorealistic hand data. In this paper, we extend MANO with Diverse Accessories and Rich Textures, namely DART. DART is composed of 50 daily 3D accessories which varies in appearance and shape, and 325 hand-crafted 2D texture maps covers different kinds of blemishes or make-ups. Unity GUI is also provided to generate synthetic hand data with user-defined settings, e.g., pose, camera, background, lighting, textures, and accessories. Finally, we release DARTset, which contains large-scale (800K), high-fidelity synthetic hand images, paired with perfect-aligned 3D labels. Experiments demonstrate its superiority in diversity. As a complement to existing hand datasets, DARTset boosts the generalization in both hand pose estimation and mesh recovery tasks. Raw ingredients (textures, accessories), Unity GUI, source code and DARTset are publicly available at dart2022.github.io

研究动机与目标

• 为解决现有手部模型（如 MANO）中缺乏逼真纹理和配饰的问题，从而限制了逼真数据的合成。
• 实现基于用户定义参数（如姿态、光照、背景、配饰等）的多样化、高保真度合成手部图像生成，并提供精确的 3D 标注，以用于视觉与图形模型的训练。
• 提供一个可扩展、交互式的合成手部数据生成流水线，支持用户自定义设置。
• 构建一个大规模、多样化且高保真的手部数据集（DARTset），以补充现有基准数据集并提升模型泛化能力。
• 发布一个完整、公开可用的工具包，包含纹理、配饰、源代码、图形界面和 DARTset，供研究使用。

提出的方法

• 通过增强手腕的模板扩展 MANO，以支持逼真的手腕运动与配饰附着。
• 设计了 325 张高分辨率、手工制作的 2D 反照率纹理图，涵盖不同肤色、瑕疵（痣、疤痕）、妆容（纹身）以及指甲颜色。
• 创建了 50 个带 UV 映射和网格模型的 3D 纹理配饰（如戒指、手表、手镯、手套），以实现逼真渲染。
• 基于 Unity 构建图形界面与渲染流水线，支持用户自定义参数（姿态、相机、光照、背景、纹理与配饰）生成合成图像。
• 生成 DARTset——800,000 张逼真手部图像，附带配对的 3D 手部网格、2D/3D 关节标注与 MANO 参数。
• 采用标准指标（PA-MPJPE、PA-MPVPE）在跨数据集训练与测试设置下评估手部姿态估计与网格重建任务的性能。

实验结果

研究问题

• RQ1 一个包含丰富纹理与多样化配饰的合成手部数据集，是否能提升手部姿态估计与网格重建任务中的泛化能力？
• RQ2 配饰与逼真纹理的引入，对基于学习的手部重建模型性能有何影响？
• RQ3 当与真实世界数据集（如 FreiHAND）结合使用时，DARTset 在多大程度上减少了域差距？
• RQ4 DART 框架与 DARTset 是否能有效用于训练泛化至真实场景手部图像的模型？
• RQ5 与现有基准相比，DARTset 中姿态与纹理的多样性在多大程度上提升了模型的泛化能力与鲁棒性？

主要发现

• DARTset 显著提升了手部姿态估计与网格重建任务中的泛化能力，使用配饰时，Integral Pose 的 PA-MPJPE 相对提升 7.8%，CMR 的 PA-MPJPE 提升 5.9%。
• 在 DARTset 与 FreiHAND 混合数据上进行跨数据集训练，CMR 模型在 FreiHAND 上的 PA-MPVPE 降低了 8.9%，证明了 DARTset 与真实数据集的互补性。
• CMR 模型在混合数据上训练后，在 DARTset 上实现了 4.84/3.46 cm 的 PA-MPJPE/PA-MPVPE，表明其在合成数据集上的强大性能。
• METRO 模型在混合数据上训练后，在 FreiHAND 上实现了 3.82/3.73 cm 的 PA-MPJPE/PA-MPVPE，表明 DARTset 在域泛化方面的有效性。
• 消融实验确认，仅配饰的引入即可使 Integral Pose 的 PA-MPJPE 提升 7.8%，CMR 提升 5.9%，证明其在真实感与性能提升中的关键作用。
• DARTset 的大规模、多样化姿态分布与高保真纹理，使其在泛化能力上优于现有数据集，尤其在与真实世界数据结合使用时表现更优。