[论文解读] V2V-PoseNet: Voxel-to-Voxel Prediction Network for Accurate 3D Hand and Human Pose Estimation from a Single Depth Map

Gyeongsik Moon, Ju Yong Chang+1 more|arXiv (Cornell University)|Nov 20, 2017

Human Pose and Action Recognition参考文献 49被引用 35

一句话总结

V2V-PoseNet 提出了一种用于从单张深度图中精确估计 3D 手部和人体姿态的 3D 体素到体素预测网络，通过使用 3D 体素化输入和逐体素概率预测，克服了透视失真和非线性回归问题。该方法在多个基准测试中达到最先进性能，包括在 HANDS 2017 挑战赛中获得第一名，并在单张 GPU 上实现 35 fps 的实时推理。

ABSTRACT

Most of the existing deep learning-based methods for 3D hand and human pose estimation from a single depth map are based on a common framework that takes a 2D depth map and directly regresses the 3D coordinates of keypoints, such as hand or human body joints, via 2D convolutional neural networks (CNNs). The first weakness of this approach is the presence of perspective distortion in the 2D depth map. While the depth map is intrinsically 3D data, many previous methods treat depth maps as 2D images that can distort the shape of the actual object through projection from 3D to 2D space. This compels the network to perform perspective distortion-invariant estimation. The second weakness of the conventional approach is that directly regressing 3D coordinates from a 2D image is a highly non-linear mapping, which causes difficulty in the learning procedure. To overcome these weaknesses, we firstly cast the 3D hand and human pose estimation problem from a single depth map into a voxel-to-voxel prediction that uses a 3D voxelized grid and estimates the per-voxel likelihood for each keypoint. We design our model as a 3D CNN that provides accurate estimates while running in real-time. Our system outperforms previous methods in almost all publicly available 3D hand and human pose estimation datasets and placed first in the HANDS 2017 frame-based 3D hand pose estimation challenge. The code is available in https://github.com/mks0601/V2V-PoseNet_RELEASE.

研究动机与目标

• 解决 2D 深度图中的透视失真问题，该问题在 2D CNN 处理过程中会扭曲 3D 物体形状。
• 克服 2D 深度图像与 3D 关节坐标之间高度非线性的映射关系，该关系阻碍了准确学习。
• 通过将任务重新表述为使用 3D 体积分表示的体素到体素预测，提高 3D 姿态估计的准确性。
• 在保持高精度的同时实现实时推理，适用于多样化的 3D 手部和人体姿态估计数据集。

提出的方法

• 该方法将 2D 深度图转换为 3D 体素网格，以保持空间完整性并消除透视失真。
• 它采用 3D 卷积神经网络（3D CNN）来预测每个关键点的逐体素概率图，而非直接回归 3D 坐标。
• 网络使用多尺度 3D U-Net 架构，以捕捉分层特征并在不同尺度上细化预测。
• 通过峰值检测从 3D 概率热图中提取关键点位置，确保精确定位。
• 输入预处理包括参考点优化和体素化，其中后者是最耗时的步骤。
• 通过模型集成和多 GPU 部署加速推理，在单张 GPU 上最高实现 35 fps 的性能。

实验结果

研究问题

• RQ1 用 3D 体素化表示替代 2D 深度图输入，能否减少透视失真并提高 3D 姿态估计的准确性？
• RQ2 与直接回归 3D 坐标相比，预测逐体素概率是否能带来更稳定和准确的学习？
• RQ3 在多样化数据集上，体素到体素预测框架与传统 2D 到 3D 回归方法相比，在性能和鲁棒性方面有何差异？
• RQ4 所提出的方法能否在 3D 手部和 3D 人体姿态估计任务中均实现一致的性能提升，表现出良好的泛化能力？

主要发现

• V2V-PoseNet 在三个公开的 3D 手部姿态估计数据集（ICVL、NYU 和 MSRA）上达到最先进性能，平均误差分别为 12.8mm、18.7mm 和 28.7mm。
• 在具有挑战性的 NYU 数据集上，与之前方法的性能差距最大，表明其对遮挡和低质量深度数据具有更强的鲁棒性。
• 该方法在 HANDS 2017 基于帧的 3D 手部姿态估计挑战赛中排名第一，优于所有其他参赛者。
• 在 ITOP 3D 人体姿态估计数据集上，V2V-PoseNet 在前视图和顶视图上的准确率分别达到 75.5% 和 83.4%，超越了所有先前方法。
• 模型在集成推理下运行速率为 3.5 fps，在多 GPU 模式下最高可达 35 fps，证明了其具备实时应用潜力。
• 消融实验确认，3D 体素输入与逐体素概率输出的组合带来了最佳性能，验证了该设计选择的有效性。