[论文解读] Camera-Space Hand Mesh Recovery via Semantic Aggregation and Adaptive 2D-1D Registration

Xingyu Chen, Yufeng Liu+7 more|arXiv (Cornell University)|Mar 4, 2021

Human Pose and Action Recognition参考文献 43被引用 5

一句话总结

该论文提出了一种统一框架——相机空间网格恢复（Camera-Space Mesh Recovery, CMR），通过联合求解根相对网格恢复与根位置估计，实现在相机中心坐标系下的单目3D手部网格重建。该方法利用语义感知的2D线索聚合与自适应2D-1D配准，实现了在FreiHAND、RHD和Human3.6M数据集上的最先进性能，FreiHAND数据集上达到48.8 mm CS-MPJPE与48.9 mm CS-MPVPE。

ABSTRACT

Recent years have witnessed significant progress in 3D hand mesh recovery. Nevertheless, because of the intrinsic 2D-to-3D ambiguity, recovering camera-space 3D information from a single RGB image remains challenging. To tackle this problem, we divide camera-space mesh recovery into two sub-tasks, i.e., root-relative mesh recovery and root recovery. First, joint landmarks and silhouette are extracted from a single input image to provide 2D cues for the 3D tasks. In the root-relative mesh recovery task, we exploit semantic relations among joints to generate a 3D mesh from the extracted 2D cues. Such generated 3D mesh coordinates are expressed relative to a root position, i.e., wrist of the hand. In the root recovery task, the root position is registered to the camera space by aligning the generated 3D mesh back to 2D cues, thereby completing cameraspace 3D mesh recovery. Our pipeline is novel in that (1) it explicitly makes use of known semantic relations among joints and (2) it exploits 1D projections of the silhouette and mesh to achieve robust registration. Extensive experiments on popular datasets such as FreiHAND, RHD, and Human3.6M demonstrate that our approach achieves stateof-the-art performance on both root-relative mesh recovery and root recovery. Our code is publicly available at https://github.com/SeanChenxy/HandMesh.

研究动机与目标

• 通过恢复绝对相机空间坐标，解决单目3D手部网格重建中的2D到3D歧义问题。
• 克服现有方法仅预测根相对3D网格的局限性，从而支持手-物体交互等应用。
• 通过显式建模关节间的语义关系并利用轮廓投影，提升对遮挡、截断和复杂姿态的鲁棒性。
• 将根相对网格恢复与根位置估计统一为单一端到端流水线，实现相机空间网格的端到端恢复。
• 在Human3.6M与COCO数据集上，使用相同框架展示向全身网格恢复的泛化能力。

提出的方法

• 从单张RGB图像中提取2D关节关键点与轮廓作为3D重建的输入线索。
• 应用语义聚合模块，基于已知的解剖关系对关节热力图进行分组，生成更有效的2D线索。
• 使用Inception Spiral模块从2D线索中鲁棒地解码3D网格，输出根相对坐标。
• 通过自适应2D-1D配准方法执行全局网格配准，同时将预测的3D网格对齐至2D关键点（2D）与轮廓投影（1D）。
• 利用多维匹配目标优化配准过程，提升根位置估计的鲁棒性与准确性。
• 端到端训练整个流水线，监督信号来自2D关键点与轮廓标注，并联合优化3D网格与根位置损失。

实验结果

研究问题

• RQ1 如何显式利用手部关节间的语义关系以提升2D到3D的手部网格重建性能？
• RQ2 如何最有效地结合2D关节关键点与轮廓信息，实现鲁棒的相机空间网格恢复？
• RQ3 统一框架是否能通过联合优化根相对网格恢复与根位置估计，实现更高的相机空间精度？
• RQ4 与标准的2D仅或3D仅配准相比，自适应2D-1D配准在鲁棒性方面有何提升？
• RQ5 所提方法在跨数据集与任务（包括全身网格恢复）中的泛化能力如何？

主要发现

• CMR在FreiHAND数据集上达到最先进性能，CS-MPJPE为48.8 mm，CS-MPVPE为48.9 mm，分别优于I2L-MeshNet与ObMan 11.5 mm与36.5 mm。
• 在RHD数据集上，CMR-PG在3D PCK指标上达到0.949 AUC，超越所有对比方法，CMR-SG也达到0.944 AUC。
• CMR-SG在根恢复与相机空间网格恢复方面表现最佳，在FreiHAND上实现59.0 mm PA-MPVPE与44.7 mm PA-MPJPE。
• 该方法在全身网格恢复任务中也展现出良好泛化能力，在Human3.6M与COCO数据集上，MPJPE与PA-MPJPE表现与Pose2Mesh及I2L-MeshNet相当或更优。
• CMR-PG在FreiHAND上实现6.9 mm PA-MPJPE，表明根相对网格恢复具有高精度，同时保持低GPU显存占用（1.5–1.9G）与快速推理速度。
• 定性结果表明，该方法对遮挡、截断与复杂姿态具有鲁棒性，能够准确重建侧视图与相机空间网格。