[论文解读] NIMBLE: A Non-rigid Hand Model with Bones and Muscles

Yuwei Li, Longwen Zhang+7 more|arXiv (Cornell University)|Feb 9, 2022

Hand Gesture Recognition Systems被引用 15

一句话总结

NIMBLE 提出了一种新颖的参数化3D手部模型，通过整合骨骼、肌肉和皮肤，并利用MRI获取的解剖数据，实现了手部动画与渲染前所未有的真实感。通过形状/姿态混合形状以及可微分关节回归器施加解剖学和运动学约束，该模型实现了逼真的手部图像合成，并通过高保真度的数据合成显著提升了基于学习的姿态估计性能。

ABSTRACT

Emerging Metaverse applications demand reliable, accurate, and photorealistic reproductions of human hands to perform sophisticated operations as if in the physical world. While real human hand represents one of the most intricate coordination between bones, muscle, tendon, and skin, state-of-the-art techniques unanimously focus on modeling only the skeleton of the hand. In this paper, we present NIMBLE, a novel parametric hand model that includes the missing key components, bringing 3D hand model to a new level of realism. We first annotate muscles, bones and skins on the recent Magnetic Resonance Imaging hand (MRI-Hand) dataset and then register a volumetric template hand onto individual poses and subjects within the dataset. NIMBLE consists of 20 bones as triangular meshes, 7 muscle groups as tetrahedral meshes, and a skin mesh. Via iterative shape registration and parameter learning, it further produces shape blend shapes, pose blend shapes, and a joint regressor. We demonstrate applying NIMBLE to modeling, rendering, and visual inference tasks. By enforcing the inner bones and muscles to match anatomic and kinematic rules, NIMBLE can animate 3D hands to new poses at unprecedented realism. To model the appearance of skin, we further construct a photometric HandStage to acquire high-quality textures and normal maps to model wrinkles and palm print. Finally, NIMBLE also benefits learning-based hand pose and shape estimation by either synthesizing rich data or acting directly as a differentiable layer in the inference network.

研究动机与目标

• 解决现有3D手部模型缺乏真实感且解剖结构准确度不足的问题，尤其在仅包含骨骼结构之外的肌骨系统方面。
• 通过建模骨骼、肌肉和皮肤的协同形变，实现高保真度的手部动画与渲染。
• 通过可微分的、逼真的数据合成，支持基于学习的手部姿态与形状估计。
• 提供一个整合物理约束与解剖准确性的参数化框架，以提升模拟与推理性能。
• 构建一个全面的数据集，包含骨骼、肌肉和皮肤的真值分割，用于手部建模与视觉应用。

提出的方法

• 在MRI-Hand数据集中对骨骼、肌肉和皮肤进行详细分割标注，建立解剖真值。
• 通过带物理约束的迭代形状配准，将体素化手部模板注册到个体受试者及其姿态。
• 将20块骨骼表示为三角形网格，7组肌肉表示为四面体网格，皮肤表示为具有参数化混合形状的可变形网格。
• 通过带L2正则化参数和物理一致性惩罚项的优化，学习形状混合形状、姿态混合形状以及关节回归器。
• 构建光照摄影手部阶段（HandStage），用于捕捉高质量的纹理图与法线图，以实现逼真的皮肤外观，包括皱纹与掌纹。
• 将NIMBLE作为可微分层集成到神经网络中，实现从RGB图像、点云或MRI输入端到端的基于学习的手部姿态与形状估计。

实验结果

研究问题

• RQ1 包含骨骼、肌肉和皮肤的参数化3D手部模型是否能在动画与渲染中实现比仅含骨架的模型更高的真实感？
• RQ2 如何在非刚性手部模型中施加解剖学与运动学约束，以确保物理上合理的形变？
• RQ3 NIMBLE在多大程度上可通过逼真的数据合成或作为可微分层来提升基于学习的手部姿态与形状估计性能？
• RQ4 肌骨结构的引入在视觉保真度方面如何影响手部外观，特别是皮肤皱纹与纹理细节的表现？
• RQ5 具备完整解剖分割的参数化手部模型是否能够支持高质量、大规模的数据集生成，以服务于下游视觉任务？

主要发现

• 在FreiHAND数据集上，NIMBLE实现了9.4毫米的PA MPJPE，尽管其关节定义与最先进方法不同，仍表现出具有竞争力的性能。
• 通过高质量的纹理图与法线图捕捉，NIMBLE能够生成具有逼真皮肤皱纹与掌纹的逼真手部渲染图像。
• 通过施加解剖学与运动学规则，NIMBLE实现了在各种姿态下保持一致的内外部形变，从而实现逼真的手部动画。
• 将NIMBLE作为可微分层集成后，显著提升了基于学习的手部姿态与形状估计性能，尤其在点云与MRI体积等具有挑战性的输入下表现更优。
• 其参数化设计支持高效的数据合成，可生成高质量、完全标注的手部数据集，包含真值几何、姿态与外观信息。
• 通过建模完整的肌骨系统，包括肌肉驱动的皮肤形变与骨骼运动，NIMBLE在视觉真实感方面优于现有模型。