[论文解读] Pose-Guided Human Parsing with Deep Learned Features

Fangting Xia, Jun Zhu+2 more|arXiv (Cornell University)|Aug 17, 2015

Human Pose and Action Recognition参考文献 33被引用 10

一句话总结

本文提出了一种姿态引导的人体解析框架，通过将自顶向下的人体姿态估计与深度学习特征相结合，以改进部件提议生成、选择及最终的解析结果。通过在每个阶段利用姿态线索——包括姿态引导的提议、基于姿态的几何特征以及基于AOG的组装——该方法在Penn-Fudan基准上实现了最先进性能，平均mIoU相比之前方法提升超过4%。

ABSTRACT

Parsing human body into semantic regions is crucial to human-centric analysis. In this paper, we propose a segment-based parsing pipeline that explores human pose information, i.e. the joint location of a human model, which improves the part proposal, accelerates the inference and regularizes the parsing process at the same time. Specifically, we first generate part segment proposals with respect to human joints predicted by a deep model, then part- specific ranking models are trained for segment selection using both pose-based features and deep-learned part potential features. Finally, the best ensemble of the proposed part segments are inferred though an And-Or Graph. We evaluate our approach on the popular Penn-Fudan pedestrian parsing dataset, and demonstrate the effectiveness of using the pose information for each stage of the parsing pipeline. Finally, we show that our approach yields superior part segmentation accuracy comparing to the state-of-the-art methods.

研究动机与目标

• 解决在存在大姿态变化、遮挡和外观模糊等现实场景下准确人体解析的挑战。
• 通过将自顶向下的姿态信息整合到自底向上的分割生成中，提升部件提议质量。
• 通过基于姿态的几何特征和深度学习的外观表征，提升部件选择与最终解析性能。
• 系统性地将姿态引导贯穿解析流程的所有阶段，以提升效率与准确性。
• 在Penn-Fudan行人解析基准上超越现有最先进方法。

提出的方法

• 通过使用深度姿态估计模型将候选区域约束在预测的人体关键点附近，生成部件分割提议。
• 训练支持向量回归器（SVR）以结合基于姿态的几何特征与全卷积网络（FCN）提取的深度学习部件潜在特征，对提议进行重排序。
• 设计一种新颖的基于姿态的几何特征，以建模部件与姿态关键点之间的空间关系，兼顾局部与全局信息，提升判别能力。
• 使用And-Or图（AOG）对选定的部件提议进行最优组装，其中姿态线索被用于衡量成对部件间的上下文兼容性。
• 利用FCN提取的深度学习部件潜在特征，捕捉形状与外观线索，增强对噪声与遮挡的鲁棒性。
• 在整个流程中整合自顶向下的姿态引导：从提议生成、特征排序到最终组装，确保一致的正则化。

实验结果

研究问题

• RQ1 自顶向下的姿态信息是否能显著提升人体解析中部件分割提议的质量？
• RQ2 将基于姿态的几何特征与深度学习的外观特征相结合，对部件选择准确性有何影响？
• RQ3 在解析流程的所有阶段整合姿态线索，能在多大程度上提升最终解析性能？
• RQ4 所提出的框架是否能在标准评估协议下，于Penn-Fudan等基准数据集上超越最先进方法？
• RQ5 该方法的失败模式是什么？其与姿态估计误差或视觉模糊性有何关联？

主要发现

• 所提方法在Penn-Fudan数据集上实现了60.5%的平均mIoU，相比之前最先进方法（DDN）提升4.3个百分点。
• 与FCN-16相比，平均mIoU提升10.3个百分点，证明了姿态引导优化的有效性。
• 在小尺寸、细粒度部件（如头发+13.0%，手臂+6.3%）上取得最大提升，表明姿态引导提议具有出色的边界对齐能力。
• 定性结果表明，与FCN相比，本方法在肢体和配件（如鞋子、手臂）的定位上表现更优，能更好地保留局部细节。
• 失败案例主要源于与背景物体的颜色混淆、多人遮挡以及光照变化——凸显了对更优形状或上下文建模的需求。
• 每张图像的特征提取耗时约6秒，AOG-based组装耗时约1秒，表明推理效率合理。