[论文解读] 3D Human Pose Estimation from a Single Image via Distance Matrix Regression

Francesc Moreno-Noguer|RECERCAT (Consorci de Serveis Universitaris de Catalunya)|Nov 28, 2016

Human Pose and Action Recognition参考文献 47被引用 14

一句话总结

本文提出一种新颖的单目图像3D人体姿态估计方法，通过从2D到3D欧几里得距离矩阵（EDMs）的回归，而非直接回归3D坐标。利用在合成数据上训练的简单全连接或全卷积网络，该方法提升了对2D检测噪声和遮挡的鲁棒性，在Humaneva-I和Human3.6M数据集上达到最先进性能，并在LSP数据集的无约束图像上展现出优异的泛化能力。

ABSTRACT

This paper addresses the problem of 3D human pose estimation from a single image. We follow a standard two-step pipeline by first detecting the 2D position of the $N$ body joints, and then using these observations to infer 3D pose. For the first step, we use a recent CNN-based detector. For the second step, most existing approaches perform 2$N$-to-3$N$ regression of the Cartesian joint coordinates. We show that more precise pose estimates can be obtained by representing both the 2D and 3D human poses using $N imes N$ distance matrices, and formulating the problem as a 2D-to-3D distance matrix regression. For learning such a regressor we leverage on simple Neural Network architectures, which by construction, enforce positivity and symmetry of the predicted matrices. The approach has also the advantage to naturally handle missing observations and allowing to hypothesize the position of non-observed joints. Quantitative results on Humaneva and Human3.6M datasets demonstrate consistent performance gains over state-of-the-art. Qualitative evaluation on the images in-the-wild of the LSP dataset, using the regressor learned on Human3.6M, reveals very promising generalization results.

研究动机与目标

• 通过利用关节配置的结构先验，解决从单张RGB图像进行3D人体姿态估计的病态问题。
• 克服直接2D到3D笛卡尔坐标回归方法对噪声敏感且缺乏结构不变性的局限。
• 通过在合成数据上学习并使用编码姿态几何结构的距离矩阵，提升模型在无约束真实图像上的泛化能力。
• 通过建模成对关节关系的距离矩阵，实现对缺失或被遮挡肢体部分的假设。
• 使用在合成数据上训练的浅层神经网络，控制噪声和遮挡，实现高精度与强鲁棒性。

提出的方法

• 将2D和3D人体姿态表示为N×N的欧几里得距离矩阵（EDMs），编码N个体感关节之间的成对距离。
• 将3D姿态估计任务建模为2D到3D EDM回归问题，其中输入为2D EDM，输出为预测的3D EDM。
• 训练全连接（FConn）和全卷积（FConv）神经网络，将2D EDM映射至3D EDM，网络深度根据输入尺寸较小（N=14个关节）进行选择。
• 通过网络结构设计强制输出满足结构约束（正定性、对称性），因为EDMs本身具有对称性和半正定性。
• 使用多维缩放（MDS）技术，从预测的3D EDM重构3D关节坐标，这是EDM嵌入的标准方法。
• 通过在2D检测器噪声和关节遮挡条件下合成训练数据，提升鲁棒性，利用EDMs仅依赖于关节位置的特性。

实验结果

研究问题

• RQ1 将2D和3D姿态表示为距离矩阵，是否能相比直接2D到3D坐标回归提升3D姿态估计的准确性？
• RQ2 距离矩阵回归是否能增强对2D检测噪声和部分关节遮挡的鲁棒性？
• RQ3 在受控实验室数据集（如Human3.6M）上训练的模型，能否有效泛化到无约束的真实世界图像（如LSP）？
• RQ4 在仅依赖可见关节距离的情况下，模型在多大程度上能推断被遮挡或未观测到的关节的3D位置？
• RQ5 在合成数据（含噪声和遮挡）上训练的简单神经网络架构，在2D到3D EDM回归任务中表现如何？

主要发现

• 所提方法在Humaneva-I和Human3.6M基准上达到最先进性能，显著优于以往方法的3D姿态估计精度。
• 在Humaneva-I数据集上，按照Protocol #3，方法的平均3D误差为104.8 mm，显著优于先前方法。
• 方法在无约束图像上泛化良好：在LSP数据集上，估计3D姿态的2D重投影误差平均为6.76像素，而仅使用CPM检测结果时为9.08像素。
• 即使在2D检测结果中加入标准差为20像素的高斯噪声，3D误差也逐渐增加并保持在合理范围内，表明对检测噪声具有强鲁棒性。
• 全卷积网络变体成功实现了对被遮挡肢体的假设，在结构化和随机遮挡场景下表现一致，尽管在罕见姿态（如“Sit”或“Photo”）上性能略有下降。
• 对LSP图像结果的视觉检查表明，即使在训练中未见过的新动作和视角下，该方法仍能生成合理的3D姿态。