[论文解读] End-to-end Hand Mesh Recovery from a Monocular RGB Image

Xiong Zhang, Qiang Li+3 more|arXiv (Cornell University)|Feb 25, 2019

Human Pose and Action Recognition参考文献 59被引用 14

一句话总结

该论文提出 HAMR，一种基于可微分参数化手部模型的端到端框架，用于从单张 RGB 图像恢复 3D 手部网格。通过使用形状和关节角度对通用 3D 手部网格进行参数化，HAMR 实现了可微分的重投影损失，支持联合优化，实现了在 2D/3D 手部姿态估计以及遮挡下鲁棒网格重建方面的最先进性能。

ABSTRACT

In this paper, we present a HAnd Mesh Recovery (HAMR) framework to tackle the problem of reconstructing the full 3D mesh of a human hand from a single RGB image. In contrast to existing research on 2D or 3D hand pose estimation from RGB or/and depth image data, HAMR can provide a more expressive and useful mesh representation for monocular hand image understanding. In particular, the mesh representation is achieved by parameterizing a generic 3D hand model with shape and relative 3D joint angles. By utilizing this mesh representation, we can easily compute the 3D joint locations via linear interpolations between the vertexes of the mesh, while obtain the 2D joint locations with a projection of the 3D joints.To this end, a differentiable re-projection loss can be defined in terms of the derived representations and the ground-truth labels, thus making our framework end-to-end trainable.Qualitative experiments show that our framework is capable of recovering appealing 3D hand mesh even in the presence of severe occlusions.Quantitatively, our approach also outperforms the state-of-the-art methods for both 2D and 3D hand pose estimation from a monocular RGB image on several benchmark datasets.

研究动机与目标

• 为解决从单张 RGB 图像恢复 3D 手部网格的挑战，该任务缺乏足够的真实世界数据并面临透视模糊问题。
• 通过利用统一的网格表示隐式编码几何先验，提升 2D 和 3D 手部姿态估计性能。
• 通过可微分重投影损失，实现使用不完整或弱标注的 2D 和 3D 标注进行端到端训练。
• 通过整合轮廓一致性与几何约束，提升对遮挡和域偏移的鲁棒性。
• 证明参数化网格模型能够隐式捕捉手部几何结构，从而减少对显式几何正则化的依赖。

提出的方法

• HAMR 使用由形状和相对 3D 关节角度参数化的可微分参数化 3D 手部模型，生成网格表示。
• 通过网格顶点上的线性插值计算 3D 关节位置，2D 关节通过可微分相机层将 3D 关节投影得到。
• 定义预测 2D 关节与真实 2D 关键点标注之间的可微分重投影损失，支持端到端训练。
• 框架引入轮廓一致性损失（$\mathcal{L}_{seg}$），将渲染的网格投影与真实分割掩码对齐。
• 附加损失包括相机参数监督（$\mathcal{L}_{cam}$）和几何正则化（$\mathcal{L}_{geo}$），以提升姿态和形状精度。
• 模型在 RHD 和 STB 数据集上使用弱监督信号进行训练，包括 2D 热力图和部分 3D 标注。

实验结果

研究问题

• RQ1 可微分网格表示是否能够实现从 RGB 图像进行单目手部网格恢复的端到端训练？
• RQ2 参数化网格模型在多大程度上隐式编码了手部几何结构，从而减少对显式几何约束的需求？
• RQ3 该框架在缺乏深度或多视角监督的情况下，对遮挡或具有挑战性的真实世界图像的泛化能力如何？
• RQ4 轮廓一致性与可微分重投影损失是否能提升在域偏移情况下的网格与姿态估计精度？
• RQ5 该网格表示在定性和定量基准测试中是否优于 2D/3D 姿态估计基线方法？

主要发现

• HAMR 在 2D 手部姿态估计上达到最先进性能，在 Dexter 数据集上的 AUC 高于 [17, 27, 63]，表现更优。
• 在 RHD 数据集上，HAMR 实现了 0.931 的 mIoU 手部分割指标，优于所有当前最先进方法，包括 DeepLab（0.924）和 BodyNet（0.852）。
• 定性结果表明，即使在严重遮挡或高动态范围光照条件下，该框架仍能成功重建高质量 3D 手部网格。
• 消融研究证实，参数化网格模型显著提升了性能，而额外的几何约束仅带来微小增益，表明其具备强大的隐式几何先验学习能力。
• 轮廓一致性损失（$\mathcal{L}_{seg}$）和相机监督（$\mathcal{L}_{cam}$）各自对性能提升有贡献，验证了其在优化形状与姿态中的作用。
• 可微分重投影损失使模型能够在弱标注数据上实现有效的端到端训练，展现出对不完整监督的鲁棒性。