[论文解读] 3D Hand Shape and Pose Estimation from a Single RGB Image

Liuhao Ge, Zhou Ren+5 more|arXiv (Cornell University)|Mar 3, 2019

Human Pose and Action Recognition参考文献 58被引用 33

一句话总结

本文提出一种 Graph CNN-based 方法，从单张 RGB 图像估计完整的 3D 手部网格和 3D 手部姿态，基于大型合成数据集进行训练，并在真实数据上通过深度图的弱监督进行微调。

ABSTRACT

This work addresses a novel and challenging problem of estimating the full 3D hand shape and pose from a single RGB image. Most current methods in 3D hand analysis from monocular RGB images only focus on estimating the 3D locations of hand keypoints, which cannot fully express the 3D shape of hand. In contrast, we propose a Graph Convolutional Neural Network (Graph CNN) based method to reconstruct a full 3D mesh of hand surface that contains richer information of both 3D hand shape and pose. To train networks with full supervision, we create a large-scale synthetic dataset containing both ground truth 3D meshes and 3D poses. When fine-tuning the networks on real-world datasets without 3D ground truth, we propose a weakly-supervised approach by leveraging the depth map as a weak supervision in training. Through extensive evaluations on our proposed new datasets and two public datasets, we show that our proposed method can produce accurate and reasonable 3D hand mesh, and can achieve superior 3D hand pose estimation accuracy when compared with state-of-the-art methods.

研究动机与目标

• 为 VR/AR 应用场景的单眼 RGB 图像全局 3D 手部网格估计的必要性提供动机。
• 开发一个端到端的框架，从单张图像回归密集的 3D 手部网格顶点和 3D 手部关节。
• 利用具有地面实况网格和姿态的大型合成数据集进行监督。
• 引入使用深度图进行弱监督微调的策略，以缩小合成数据与真实数据之间的差距。
• 发布可用于实际部署的实时-capable 方法。

提出的方法

• 使用两堆叠式小时玻网络从输入的以手为中心的 RGB 图像提取 2D 热力图和图像特征。
• 将特征编码为潜在向量，并通过具有分层上采样图结构的 Graph CNN 预测 3D 手部网格顶点。
• 预定义固定的手部网格拓扑，并通过图卷积从潜在特征生成 1280 个 3D 网格顶点。
• 通过简化的 Graph CNN 回归器线性回归 3D 手部关节，来自重建网格。
• 在具有热力图、网格和姿态损失的大型合成数据集上进行训练；在真实数据上通过渲染网格到深度图并使用伪地面实况网格作为额外引导进行弱监督微调。

实验结果

研究问题

• RQ1 一个 Graph CNN-based 模型是否能够直接从单张 RGB 图像生成完整的 3D 手部网格坐标？
• RQ2 将完整的 3D 手部网格纳入是否会比仅使用关节的方法提升 3D 手部姿态估计的准确性？
• RQ3 如何利用合成数据来训练用于真实世界 RGB 手部网格估计，以及如何通过基于深度的弱监督缩小领域差距？
• RQ4 伪地面实况网格监督对使用深度图进行微调的效果如何？
• RQ5 在常见的 GPU 上方法是否能够实现实时性能？

主要发现

• 该方法在公开数据集上实现了更准确且合理的 3D 手部网格，并在 3D 手部姿态估计方面优于现有方法。
• 基于 Graph CNN 的网格生成比直接的 LBS 或 MANO 基方法更好地表示手形变化和局部细节。
• 在真实数据上没有 3D 监督时，使用深度图损失和伪地面实况网格损失的弱监督微调可以改进姿态估计。
• 该方法在 GPU 上以实时速度运行，平均全网格+姿态输出耗时 19.9 ms，fps 超过 50。
• 一个包含 375,000 张手部 RGB 图像、带网格和姿态注释的大型合成数据集支持端到端的有效训练。
• 在 RHD 和 STB 数据集上，该方法优于多种先进的 3D 手部姿态方法，特别是在 3D 姿态监督有限的情况下。