[论文解读] Feature Boosting Network For 3D Pose Estimation

Jun Liu, Henghui Ding+5 more|arXiv (Cornell University)|Jan 15, 2019

Human Pose and Action Recognition参考文献 40被引用 8

一句话总结

本文提出了一种用于从单张RGB图像进行3D手部与人体姿态估计的特征增强网络（FBN），采用一种长短期依赖感知模块（LSTD），结合图卷积LSTM以建模身体各部分之间的长时序与短时序依赖关系。此外，通过引入上下文一致性门控模块（CCG），根据上下文一致性对特征进行调制，从而进一步优化特征表示，在3DHandPose、Human3.6M和MPI-INF-3DHP数据集上实现了最先进性能。

ABSTRACT

In this paper, a feature boosting network is proposed for estimating 3D hand pose and 3D body pose from a single RGB image. In this method, the features learned by the convolutional layers are boosted with a new long short-term dependence-aware (LSTD) module, which enables the intermediate convolutional feature maps to perceive the graphical long short-term dependency among different hand (or body) parts using the designed Graphical ConvLSTM. Learning a set of features that are reliable and discriminatively representative of the pose of a hand (or body) part is difficult due to the ambiguities, texture and illumination variation, and self-occlusion in the real application of 3D pose estimation. To improve the reliability of the features for representing each body part and enhance the LSTD module, we further introduce a context consistency gate (CCG) in this paper, with which the convolutional feature maps are modulated according to their consistency with the context representations. We evaluate the proposed method on challenging benchmark datasets for 3D hand pose estimation and 3D full body pose estimation. Experimental results show the effectiveness of our method that achieves state-of-the-art performance on both of the tasks.

研究动机与目标

• 为解决在遮挡、纹理变化和光照变化等真实场景条件下，从单张RGB图像准确估计3D手部与人体姿态的挑战。
• 通过建模身体各部分之间复杂且长期与短期的依赖关系，提升卷积神经网络中的特征表示能力。
• 通过引入一种基于上下文一致性的门控机制（CCG），根据特征与上下文表征的一致性程度调节其传播，从而增强特征的可靠性。
• 在3D手部与全身姿态估计的基准数据集上实现最先进性能。

提出的方法

• 所提出的特征增强网络将长短期依赖感知模块（LSTD）集成到CNN架构中，以增强中间卷积特征图的表示能力。
• LSTD模块利用图卷积LSTM，通过预设的图结构建模手部或身体各部分特征之间的直接（短期）与间接（长期）依赖关系。
• 引入上下文一致性门控模块（CCG）作为软调制器，评估特征与上下文的一致性，并据此调节特征传播过程。
• 网络在深层架构中堆叠多个卷积层与LSTD模块，实现在网络各层级上的多级特征增强。
• 模型在基准数据集上使用标准3D姿态估计损失函数进行端到端训练。
• 图依赖结构基于解剖学上的关节连接关系设计，并通过消融实验验证其有效性。

实验结果

研究问题

• RQ1 建模身体各部分之间的长时序与短时序依赖关系是否能提升从单张RGB图像进行3D姿态估计的性能？
• RQ2 在存在遮挡与纹理变化的情况下，上下文感知门控机制是否能增强特征的可靠性？
• RQ3 所提出的LSTD模块结合图卷积LSTM是否在3D姿态估计任务中优于标准的循环神经网络模块（如ConvRNN与ConvGRU）？
• RQ4 该特征增强网络是否在不同数据集上具备良好的泛化能力，包括跨数据集评估？

主要发现

• 在3DHandPose数据集上，所提方法取得了89.5%的PCK@20，优于基线模型3D Pose Net。
• 在Human3.6M数据集上，方法实现了51.5%的PCK@50，较基线3D Pose Net提升了3.4%。
• 在MPI-INF-3DHP数据集的跨数据集评估中，方法取得了69.6%的PCK，优于先前方法[42]（69.2%）与[20]（64.7%）。
• 与基线相比，添加CCG模块后，Human3.6M数据集上的PCK@50性能提升了1.7%，3DHandPose数据集上提升了2.3%。
• 在Human3.6M数据集上，模型的平均误差降低至61 mm，较基线3D Pose Net减少了4 mm。
• 消融实验证明，增加依赖图中的连接数量并未进一步提升性能，验证了所设计图结构的最优性。