[论文解读] Articulated Pose Estimation Using Hierarchical Exemplar-Based Models

Jiongxin Liu, Yinxiao Li+2 more|arXiv (Cornell University)|Dec 13, 2015

Human Pose and Action Recognition被引用 3

一句话总结

本文提出一种基于分层原型的模型，通过引入深度卷积神经网络（DCNNs）提升人体姿态估计性能，利用多层次空间约束与跨粒度的部件关系。通过结合DCNNs进行外观建模与分层原型进行空间推理，该方法在Leeds Sports和CUB-200-2011数据集上实现了最先进性能，显著提升了部件定位的准确性。

ABSTRACT

Exemplar-based models have achieved great success on localizing the parts of semi-rigid objects. However, their efficacy on highly articulated objects such as humans is yet to be explored. Inspired by hierarchical object representation and recent application of Deep Convolutional Neural Networks (DCNNs) on human pose estimation, we propose a novel formulation that incorporates both hierarchical exemplar-based models and DCNNs in the spatial terms. Specifically, we obtain more expressive spatial models by assuming independence between exemplars at different levels in the hierarchy; we also obtain stronger spatial constraints by inferring the spatial relations between parts at the same level. As our method strikes a good balance between expressiveness and strength of spatial models, it is both effective and generalizable, achieving state-of-the-art results on different benchmarks: Leeds Sports Dataset and CUB-200-2011.

研究动机与目标

• 解决在高度形变物体（如人类和鸟类）中实现精确人体姿态估计的挑战。
• 提升原型基模型的表达能力，此类模型传统上因训练数据有限而在高度关节化物体上表现不佳。
• 将基于深度学习的外观模型（DCNNs）与分层空间约束相结合，实现更强健且更具泛化能力的姿态估计。
• 开发一种高效的推理框架，在多粒度层级上平衡模型表达能力与空间一致性。

提出的方法

• 该方法采用分层树状结构，原子部件（如关节）位于最细粒度层级，复合部件（如肢体）由更高层级的原子部件组合而成。
• 同一层级部件之间的空间关系通过DCNNs预测相对偏移量建模，跨层级关系则通过原型基推理强制实现父子层级结构。
• 原型用于在每一层级编码合理的部件配置，假设不同层级间的原型相互独立，以增强表达能力。
• 通过联合优化部件位置，利用结合DCNNs外观得分与分层原型空间一致性得分的评分函数，实现空间约束的强制执行。
• 通过自底向上的层级推理，从粗粒度到细粒度逐层传播约束，保持空间一致性。
• 采用分组部件优化策略，联合优化部件位置，区别于以往方法中独立优化各部件的做法。

实验结果

研究问题

• RQ1 通过引入分层结构，能否使原型基模型在人类等高度关节化物体上具备更强的表达能力？
• RQ2 如何有效将深度卷积神经网络整合到人体姿态估计的空间建模中？
• RQ3 结合多层级空间约束与基于DCNN的外观模型，是否能提升定位准确率与泛化能力？
• RQ4 在大形变条件下，分层原型框架是否能优于非分层或树状结构模型，在部件定位任务中表现更优？

主要发现

• 所提方法在Leeds Sports数据集上达到最先进性能，在多数身体部位的检测关节百分比（PDJ）指标上优于先前方法。
• 在CUB-200-2011鸟类数据集上，该方法实现了最高的PCP（部件置信精度）得分，其中Ours-full优于DCNN-CoE与Part-pair基线方法。
• Ours-base变体（仅使用DCNN外观模型，无空间约束）在多数关节上已超越先前方法（如( ? )），证明了DCNN在部件检测中的强大能力。
• 完整方法（Ours-full）通过引入多层级空间建模，在易发生形变的部件（如腿部和翅膀）上相较Ours-base取得显著性能提升。
• 定性结果表明，该方法在多样姿态、视角与形变条件下均表现出鲁棒的部件定位能力，仅在极端遮挡或噪声情况下出现少数失败案例。
• 该方法高效且兼容现成的DCNN模型，而无需像竞争方法那样依赖复杂架构。