[论文解读] 3D Human Pose Estimation with Relational Networks

Sungheon Park, Nojun Kwak|arXiv (Cornell University)|May 23, 2018

Human Pose and Action Recognition参考文献 21被引用 19

一句话总结

本文提出一种用于从单张图像进行3D人体姿态估计的关系神经网络，通过分组特征交互来利用关节间的相互关系。引入关系丢弃（relational dropout）以增强对缺失或遮挡关节的鲁棒性，在Human 3.6M数据集上实现了最先进性能，尤其在部分监督或关节遮挡情况下表现优异。

ABSTRACT

In this paper, we propose a novel 3D human pose estimation algorithm from a single image based on neural networks. We adopted the structure of the relational networks in order to capture the relations among different body parts. In our method, each pair of different body parts generates features, and the average of the features from all the pairs are used for 3D pose estimation. In addition, we propose a dropout method that can be used in relational modules, which inherently imposes robustness to the occlusions. The proposed network achieves state-of-the-art performance for 3D pose estimation in Human 3.6M dataset, and it effectively produces plausible results even in the existence of missing joints.

研究动机与目标

• 解决从单张2D图像进行3D人体姿态估计的挑战，该问题由于深度模糊性而本质上是欠定的。
• 提升对缺失或遮挡关节的泛化能力和鲁棒性，这是现实场景中的常见问题。
• 通过建模身体部位之间的关系依赖而非独立处理关节，来提高姿态估计的准确性。
• 开发一种新型训练策略——关系丢弃，通过在训练过程中模拟关节缺失来提升鲁棒性。
• 证明分层关系神经网络在建模组内关节关系方面的有效性，并提升对噪声2D检测的鲁棒性。

提出的方法

• 将16个2D关节点输入划分为五个非重叠的身体组别：左臂、右臂、左腿、右腿和躯干。
• 应用关系网络模块，计算所有组对之间的成对特征，然后对结果进行平均，生成上下文感知的表征。
• 引入“关系丢弃”——一种训练技术，在前向传播过程中随机丢弃每对中的一个特征，以模拟身体部位的缺失。
• 设计一种分层关系神经网络，在组间和组内两个层级均应用关系丢弃，以提升对部分关节丢失的鲁棒性。
• 使用残差块结合批量归一化和ReLU激活函数进行特征提取与回归，灵感来自Martinez等人[19]。
• 采用两阶段训练协议在Human 3.6M数据集上微调模型：首先在2D到3D映射上预训练，然后加入关系模块进行微调。

实验结果

研究问题

• RQ1 与标准全连接网络相比，关节点之间的关系建模是否能提升3D姿态估计的准确性？
• RQ2 为关系网络量身定制的专用丢弃策略是否能增强对缺失或遮挡关节点的鲁棒性？
• RQ3 分层关系神经网络是否能更好地建模局部关节点依赖关系，并在噪声2D输入下提升性能？
• RQ4 与基线方法相比，所提出方法在各种关节点遮挡场景下的表现如何？
• RQ5 关系丢弃是否会在完全可见的情况下降低性能，同时提升对缺失关节点的鲁棒性？

主要发现

• 所提出的具有分层结构的关系网络在Human 3.6M数据集上实现了最先进性能，优于基线全连接网络。
• 关系丢弃显著提升了对缺失关节点的鲁棒性：与全连接基线中的标准丢弃相比，平均将MPJPE降低12.5%。
• 采用丢弃的分层关系网络（RN-hier-drop）在所有缺失关节点场景下均达到最低的MPJPE，包括随机关节点丢失、左臂遮挡和右腿遮挡。
• 在两个关节点随机缺失的情况下，RN-hier-drop相比RN-drop在MPJPE上提升了15.3%，证明了分层丢弃在处理组内关节点缺失时的有效性。
• 关系丢弃方法在完全可见情况下保持了性能，与原始模型相比无性能下降，证实了其泛化优势。
• 在MPII数据集上的定性结果表明，当2D检测存在噪声或不完整时，RN-hier-drop生成的3D姿态比标准RN更合理。