[论文解读] Generalizing Monocular 3D Human Pose Estimation in the Wild

Luyang Wang, Yan Chen+5 more|arXiv (Cornell University)|Apr 11, 2019

Human Pose and Action Recognition参考文献 50被引用 6

一句话总结

本文提出一种基于立体视觉启发的神经网络，并结合几何优化，用于为野外图像生成高质量的3D人体姿态标签，从而构建一个包含40万张图像的大规模数据集，其3D标注准确。在该数据集上训练的基础模型在真实世界图像上的泛化能力显著提升，在定量基准测试和动作分类任务中均优于当前最先进方法。

ABSTRACT

The availability of the large-scale labeled 3D poses in the Human3.6M dataset plays an important role in advancing the algorithms for 3D human pose estimation from a still image. We observe that recent innovation in this area mainly focuses on new techniques that explicitly address the generalization issue when using this dataset, because this database is constructed in a highly controlled environment with limited human subjects and background variations. Despite such efforts, we can show that the results of the current methods are still error-prone especially when tested against the images taken in-the-wild. In this paper, we aim to tackle this problem from a different perspective. We propose a principled approach to generate high quality 3D pose ground truth given any in-the-wild image with a person inside. We achieve this by first devising a novel stereo inspired neural network to directly map any 2D pose to high quality 3D counterpart. We then perform a carefully designed geometric searching scheme to further refine the joints. Based on this scheme, we build a large-scale dataset with 400,000 in-the-wild images and their corresponding 3D pose ground truth. This enables the training of a high quality neural network model, without specialized training scheme and auxiliary loss function, which performs favorably against the state-of-the-art 3D pose estimation methods. We also evaluate the generalization ability of our model both quantitatively and qualitatively. Results show that our approach convincingly outperforms the previous methods. We make our dataset and code publicly available.

研究动机与目标

• 解决在受控数据集（如Human3.6M）上训练的3D人体姿态估计模型在应用于野外图像时泛化能力差的问题。
• 开发一种系统化的方法，从野外图像中自动生成高质量的3D姿态真实标签，而无需依赖人工标注。
• 构建一个大规模、多样化的野外3D姿态数据集，以训练鲁棒的3D姿态估计模型。
• 在真实世界基准和下游任务（如动作识别）上评估训练模型的泛化性能。
• 证明基于立体视觉启发方法生成的合成3D标签进行训练，可使模型性能优于现有方法。

提出的方法

• 设计一种基于立体视觉启发的神经网络，通过从左视图合成伪右视图，将单视角2D姿态映射为高质量3D姿态。
• 3D姿态重建子网络利用多视角2D姿态，从合成视图中估计粗略的3D人体姿态。
• 应用几何搜索方案，通过强制满足物理合理性与关节一致性，对初始3D姿态预测进行优化。
• 使用3D标签生成器自动为超过40万张野外图像生成3D标注，数据源来自现有的2D姿态数据集。
• 仅在新生成的野外3D数据集上训练基础3D姿态估计网络，不使用辅助损失或特殊训练策略。
• 通过零样本迁移至MPI-INF-3DHP，以及在Penn Action数据集上进行动作分类，评估泛化性能，输入为预测的3D关节点。

实验结果

研究问题

• RQ1 基于深度学习的方法能否在无需人工标注的情况下，为野外图像生成准确的3D人体姿态标签？
• RQ2 在自动生成的野外3D标签上训练3D姿态估计器，是否能提升其在真实世界图像上的泛化能力？
• RQ3 在Human3.6M和MPI-INF-3DHP等基准上，基于合成野外3D数据训练的模型性能与当前最先进方法相比如何？
• RQ4 所提方法预测的3D姿态在动作识别等下游任务中的支持程度如何？
• RQ5 几何优化步骤是否能在复杂、非受限场景中显著提升3D姿态估计的准确性？

主要发现

• 所提出的3D标签生成器可为野外图像生成高质量的3D姿态，从而实现一个包含40万张图像、标注准确的大规模数据集。
• 在Human3.6M基准上，基于新数据集训练的基础模型达到58.0的PCK分数，优于先前方法如Zhou et al. [47]（64.9）和Yang et al. [44]（59.7）。
• 在MPI-INF-3DHP数据集上，模型达到33.8的AUC和71.2的PCK，优于Zhou et al. [47]（32.5 AUC，69.2 PCK）和Yang et al. [44]（32.0 AUC，69.0 PCK）。
• 在Penn Action数据集的动作分类任务中，使用预测3D关节点的模型达到93%的准确率，显著优于Zhou et al. [47]的80%。
• 定性结果表明，该模型在复杂姿态（如前倾、下蹲、跳跃）上泛化良好，且深度变化更符合真实情况，优于基线方法。
• 几何优化步骤显著提升了3D关节点的一致性并减少了深度模糊性，这一结论得到了下游任务性能提升和可视化结果的验证。