[论文解读] Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose

Georgios Pavlakos, Xiaowei Zhou+2 more|arXiv (Cornell University)|Nov 23, 2016

Human Pose and Action Recognition参考文献 41被引用 15

一句话总结

本文提出了一种从粗到精的体素预测框架，用于单图3D人体姿态估计，通过卷积神经网络在人物周围的离散化3D空间中预测每个体素的似然概率。通过在深度维度上逐步提高分辨率进行迭代优化，该方法在标准基准测试中实现了超过30%的相对误差降低，优于端到端和两阶段方法。

ABSTRACT

This paper addresses the challenge of 3D human pose estimation from a single color image. Despite the general success of the end-to-end learning paradigm, top performing approaches employ a two-step solution consisting of a Convolutional Network (ConvNet) for 2D joint localization and a subsequent optimization step to recover 3D pose. In this paper, we identify the representation of 3D pose as a critical issue with current ConvNet approaches and make two important contributions towards validating the value of end-to-end learning for this task. First, we propose a fine discretization of the 3D space around the subject and train a ConvNet to predict per voxel likelihoods for each joint. This creates a natural representation for 3D pose and greatly improves performance over the direct regression of joint coordinates. Second, to further improve upon initial estimates, we employ a coarse-to-fine prediction scheme. This step addresses the large dimensionality increase and enables iterative refinement and repeated processing of the image features. The proposed approach outperforms all state-of-the-art methods on standard benchmarks achieving a relative error reduction greater than 30% on average. Additionally, we investigate using our volumetric representation in a related architecture which is suboptimal compared to our end-to-end approach, but is of practical interest, since it enables training when no image with corresponding 3D groundtruth is available, and allows us to present compelling results for in-the-wild images.

研究动机与目标

• 解决单图3D人体姿态估计中直接回归3D坐标所带来的局限性。
• 通过用密集的3D体素化关节似然表示替代直接坐标回归来提升性能。
• 通过从粗到精的监督策略管理体素输出的高维性。
• 通过与解耦的2D到3D流水线对比，验证端到端学习的优越性。
• 通过非端到端的体素表示变体，实现在真实场景图像中的实际部署。

提出的方法

• 该方法将人物周围的3D空间离散化为体素网格，其中每个体素代表一个潜在的关节位置。
• 一个全卷积网络预测每个关节的体素似然概率，相比3D坐标回归提供了更丰富的监督信号。
• 采用从粗到精的策略，逐步提高监督体素的分辨率，特别是在深度（z）维度上，以管理计算复杂度。
• 在各阶段中将中间特征图与图像特征进行融合，以实现预测结果的迭代优化。
• 网络采用多阶段监督进行训练，每一阶段利用逐步提高分辨率的热力图，对前一阶段的输出进行细化。
• 还探索了一种解耦架构，使用2D关节检测器和一个在MoCap数据上训练的独立3D重建网络。

实验结果

研究问题

• RQ1 体素化的3D关节似然表示是否能优于直接坐标回归，从而提升3D人体姿态估计性能？
• RQ2 从粗到精的优化策略是否能有效管理3D体素输出的高维性？
• RQ3 与依赖2D关节检测的两阶段流水线相比，采用体素监督的端到端学习表现如何？
• RQ4 当缺乏3D真实值时，所提出的体素表示能否适应真实场景图像的推理？
• RQ5 在深度维度上逐步提升分辨率对最终姿态精度有何影响？

主要发现

• 所提方法在标准基准测试上，与最先进方法相比，平均实现了超过30%的相对误差降低。
• 在Human3.6M数据集上，该方法实现了平均67.38毫米的3D关节误差，优于先前最先进方法。
• 在KTH Football II数据集上，该方法在单视角方法中取得了最高的平均PCP分数（96），在某些情况下甚至优于多视角基线方法。
• 从粗到精的优化方案显著提升了性能，经实证验证优于简单堆叠组件的方法。
• 当存在3D真实值时，使用独立2D和3D网络的解耦架构表现劣于端到端方法，证实了联合优化的优势。
• 定性结果表明，即使在MPII数据集的具有挑战性的真实场景图像上，也能实现鲁棒的3D姿态预测。