[论文解读] Model-based 3D Hand Reconstruction via Self-Supervised Learning

Yujin Chen, Zhigang Tu+6 more|arXiv (Cornell University)|Mar 22, 2021

Hand Gesture Recognition Systems参考文献 33被引用 8

一句话总结

本文提出S²HAND，一种自监督的3D手部重建方法，仅使用未标注的RGB图像和检测到的2D关键点训练神经网络，无需昂贵的3D标注。通过引入新颖的损失函数以实现2D-3D一致性，并利用几何先验，该方法在HO-3D和FreiHand数据集上的性能与完全监督的最先进方法相当。

ABSTRACT

Reconstructing a 3D hand from a single-view RGB image is challenging due to various hand configurations and depth ambiguity. To reliably reconstruct a 3D hand from a monocular image, most state-of-the-art methods heavily rely on 3D annotations at the training stage, but obtaining 3D annotations is expensive. To alleviate reliance on labeled training data, we propose S2HAND, a self-supervised 3D hand reconstruction network that can jointly estimate pose, shape, texture, and the camera viewpoint. Specifically, we obtain geometric cues from the input image through easily accessible 2D detected keypoints. To learn an accurate hand reconstruction model from these noisy geometric cues, we utilize the consistency between 2D and 3D representations and propose a set of novel losses to rationalize outputs of the neural network. For the first time, we demonstrate the feasibility of training an accurate 3D hand reconstruction network without relying on manual annotations. Our experiments show that the proposed method achieves comparable performance with recent fully-supervised methods while using fewer supervision data.

研究动机与目标

• 通过实现自监督训练，减少在3D手部重建中对昂贵3D标注的依赖。
• 从单张RGB图像中联合估计3D手部姿态、形状、纹理和相机视角。
• 利用噪声较大的2D关键点检测结果和图像纹理作为监督信号，而非真实3D标签。
• 通过引入2D-3D一致性损失和几何先验，提升对噪声监督的鲁棒性。
• 证明无需人工3D标注即可实现精确的3D手部重建。

提出的方法

• 使用现成的2D关键点检测器（如OpenPose）从未标注图像中生成噪声较大的2D关键点监督信号。
• 采用基于模型的自编码器，从输入图像中预测3D手部网格、关节、形状、纹理和相机参数。
• 通过将预测的3D关节投影回图像平面，并与检测到的2D关键点对齐，实现2D-3D一致性。
• 引入一种新颖的2D-3D一致性损失，通过共享特征联合优化2D关键点估计与3D重建。
• 引入几何先验（如肢体长度约束、关节角度正则化）以防止出现无效的3D手部姿态。
• 利用图像纹理和光照建模生成逼真的、带纹理的3D手部网格，且无需3D监督。

实验结果

研究问题

• RQ1 是否可以在没有任何3D标注的情况下实现精确的3D手部重建？
• RQ2 噪声较大的2D关键点检测作为3D手部重建的监督信号有多有效？
• RQ3 在噪声监督下，2D-3D一致性损失是否比标准监督更能提升性能？
• RQ4 结合图像纹理和2D关键点一致性的自监督学习能否与完全监督方法相媲美？
• RQ5 在极端姿态、遮挡或复杂光照条件下，自监督3D手部重建的失败模式是什么？

主要发现

• 所提出的自监督方法在HO-3D和FreiHand数据集上均实现了与最先进完全监督方法相当的3D手部重建性能。
• 与基线训练相比，2D-3D一致性损失使2D关键点分支的MPJPE降低5.4%，3D投影分支降低9.3%。
• 该自监督方法在两个数据集上均优于使用真实3D标签的弱监督训练，尤其在HO-3D数据集（遮挡更多）上表现更优。
• 该方法对噪声较大的2D关键点检测具有鲁棒性，且通过联合优化2D与3D分支带来了性能提升。
• 纹理建模提升了视觉真实感，但对形状重建精度的提升不显著，表明当前手部网格和光照建模仍存在局限。
• 失败案例多出现在极端姿态、严重遮挡和复杂皮肤反光条件下，主要原因是2D关键点检测不佳和表面表示粗糙。