[论文解读] Local and Global Point Cloud Reconstruction for 3D Hand Pose Estimation

Ziwei Yu, Linlin Yang+2 more|arXiv (Cornell University)|Dec 13, 2021

Human Pose and Action Recognition被引用 5

一句话总结

本文提出了一种新颖的框架，通过使用定制化的3D手部模板和结合局部-全局的点云重建策略，从单张RGB图像实现3D手部姿态估计与完整的3D手部点云重建。该方法在3D手部姿态估计方面优于最先进方法，同时生成高质量、逼真且完整的3D手部点云，其有效性在新构建的多视角RGB-D数据集及四个公开基准上得到验证。

ABSTRACT

This paper addresses the 3D point cloud reconstruction and 3D pose estimation of the human hand from a single RGB image. To that end, we present a novel pipeline for local and global point cloud reconstruction using a 3D hand template while learning a latent representation for pose estimation. To demonstrate our method, we introduce a new multi-view hand posture dataset to obtain complete 3D point clouds of the hand in the real world. Experiments on our newly proposed dataset and four public benchmarks demonstrate the model's strengths. Our method outperforms competitors in 3D pose estimation while reconstructing realistic-looking complete 3D hand point clouds.

研究动机与目标

• 为解决从单张RGB图像中准确估计3D手部姿态与形状的挑战，特别是由于高关节活动度和自遮挡带来的困难。
• 克服现有方法仅重建面向相机表面或依赖MANO等参数化模型导致形状平滑、不真实的问题。
• 开发一种非参数化、高保真的3D手部点云重建方法，无需复杂网格标注即可捕捉精细几何细节。
• 引入一个新的多视角RGB-D数据集（MVHand），包含完整的3D点云、3D关节点标注及拟合的MANO参数，以支持更真实的评估。
• 证明通过共享丰富潜在表征联合学习点云重建与姿态估计，可同时提升两项任务的质量。

提出的方法

• 该方法采用可学习的图像到点云编码器-解码器架构，联合优化3D手部姿态与完整3D点云重建。
• 提出一种新型3D手部模板初始化方法——专为手部几何结构设计，可实现更优的初始3D点分布，提升重建效果。
• 采用语义分组策略将手部分解为局部组件（手指）与整体结构，支持分层重建以捕捉精细细节。
• 框架采用结合局部与全局解码的策略：局部头负责重建单根手指，全局头负责重建完整手部，从而提升重建保真度与细节表现。
• 模型借鉴FoldingNet与AtlasNet的点云自编码技术，结合手部专用模板以引导重建过程。
• 通过重建损失（Chamfer Distance与Earth Mover’s Distance）和3D关键点回归损失联合端到端训练，实现姿态估计与点云重建的联合优化。

实验结果

研究问题

• RQ1 能否仅使用单张RGB图像重建出完整、逼真的3D手部点云，包括非可见表面，而非仅相机朝向的表面？
• RQ2 与单一全局重建头相比，集成局部（手指级）与全局（全手）点云重建是否能提升几何保真度与细节表现？
• RQ3 从点云与姿态联合重建中学习的潜在表征，是否能优于仅估计姿态或仅重建几何的方法？
• RQ4 与标准2D网格或通用3D网格初始化相比，所提出的模板初始化在重建质量与收敛速度方面表现如何？
• RQ5 在3D手部姿态估计中，引入完整的3D点云重建分支能在多大程度上提升性能？

主要发现

• 所提方法在四个公开基准及新引入的MVHand数据集上均实现了SOTA级别的3D手部姿态估计性能，相较于无点云重建分支的变体，平均误差降低20%。
• 模型能够以高几何保真度重建完整的3D手部点云，视觉对比显示其能更清晰地区分各根手指，且表面更平滑，优于先前工作。
• 在STB与RHD基准上，该方法的Chamfer Distance（CD）与Earth Mover’s Distance（EMD）均低于[Boukhayma et al.]，CD值分别为0.243与0.450，表明其重建质量更优。
• 消融实验表明，若移除点云解码器，平均3D姿态误差将增加20%，证明点云重建可增强用于姿态估计的潜在表征学习。
• 局部3D手部模板初始化在CD与EMD指标上均优于2D网格与通用3D手部初始化，证明其在引导精确重建方面的有效性。
• 尽管[Yang et al.]的2.5D投影方法在EMD得分上略优，但本方法生成的点云在完整3D重建中表现出更清晰、更精细的几何结构，整体质量更高。