[论文解读] Look into Person: Joint Body Parsing & Pose Estimation Network and A New Benchmark

Xiaodan Liang, Ke Gong+2 more|arXiv (Cornell University)|Apr 5, 2018

Human Pose and Action Recognition参考文献 45被引用 11

一句话总结

该论文提出了 Look into Person (LIP) 基准数据集，这是一个大规模数据集，包含 50,462 幅图像，对 19 个语义身体部位和 16 个关键点关节进行了标注，并提出了一种联合分割与姿态估计网络（JPPNet），通过多尺度特征和迭代优化利用结构先验，同时提升两项任务的性能，实现了分割和姿态估计的最先进性能，且在遮挡和复杂姿态下表现出更强的泛化能力和鲁棒性。

ABSTRACT

Human parsing and pose estimation have recently received considerable interest due to their substantial application potentials. However, the existing datasets have limited numbers of images and annotations and lack a variety of human appearances and coverage of challenging cases in unconstrained environments. In this paper, we introduce a new benchmark named "Look into Person (LIP)" that provides a significant advancement in terms of scalability, diversity, and difficulty, which are crucial for future developments in human-centric analysis. This comprehensive dataset contains over 50,000 elaborately annotated images with 19 semantic part labels and 16 body joints, which are captured from a broad range of viewpoints, occlusions, and background complexities. Using these rich annotations, we perform detailed analyses of the leading human parsing and pose estimation approaches, thereby obtaining insights into the successes and failures of these methods. To further explore and take advantage of the semantic correlation of these two tasks, we propose a novel joint human parsing and pose estimation network to explore efficient context modeling, which can simultaneously predict parsing and pose with extremely high quality. Furthermore, we simplify the network to solve human parsing by exploring a novel self-supervised structure-sensitive learning approach, which imposes human pose structures into the parsing results without resorting to extra supervision. The dataset, code and models are available at http://www.sysu-hcp.net/lip/.

研究动机与目标

• 为非受限环境下联合人体分割与姿态估计缺乏大规模、多样化且具有挑战性的数据集提供解决方案。
• 开发一种统一的深度学习框架，利用分割与姿态估计之间的内在关联以提升性能。
• 提供一个公开的基准，包含保密的测试集，以防止过拟合并确保未来方法的公平评估。
• 探究姿态估计中的结构先验如何提升分割精度，尤其是在模糊或遮挡区域。
• 探索无额外监督的自监督结构敏感学习，以提升分割的鲁棒性与泛化能力。

提出的方法

• 提出一个新的大规模基准 Look into Person (LIP)，包含 50,462 幅图像，对 19 个体语义部位和 16 个体关键点关节进行标注，涵盖多样的姿态、遮挡和背景。
• 引入一种联合分割与姿态估计网络（JPPNet），在两项任务间共享特征，并采用多尺度卷积特征与两阶段细化策略的端到端联合优化。
• 采用一种自监督的结构敏感学习模块，将人体关节结构强制融入分割预测中，而无需额外的姿态标注。
• 采用多任务学习框架，使分割与姿态估计联合优化，实现相互监督并增强上下文建模能力。
• 应用条件随机场（CRFs）和跳跃连接，以优化预测结果，提升分割输出的空间一致性。
• 部署一个公开的评估服务器，配备保密测试集，以确保模型性能评估的公平性与可靠性。

实验结果

研究问题

• RQ1 与独立训练相比，联合学习人体分割与姿态估计在性能上有多大提升？
• RQ2 姿态估计中的结构先验在模糊或遮挡区域中能在多大程度上提升分割精度？
• RQ3 无额外姿态标注的情况下，自监督结构敏感学习能否有效提升分割性能？
• RQ4 所提出的 JPPNet 模型在多样化且具有挑战性的非受限场景中泛化能力如何？
• RQ5 多尺度特征与迭代优化对分割与姿态估计性能有何影响？

主要发现

• 所提出的 JPPNet 在 LIP 分割基准上达到 86.48% 的总体准确率、62.25% 的平均准确率和 51.36% 的平均 IoU，优于现有方法。
• 采用多尺度特征与两阶段细化的联合模型相比基线，平均 IoU 提升 1.8%。
• 通过迭代细化，姿态估计性能显著提升，在 MPII 测试集上平均关节点准确率提高 1.6%。
• 通过利用关节结构信息，模型成功解决了如左右手臂/腿混淆等模糊标注问题。
• 消融实验证实，将分割与姿态估计组件分离会导致性能下降，验证了联合建模的优势。
• 模型在 MPII 数据集上表现出良好的泛化能力，展示了强大的跨域迁移性与对非受限真实场景的鲁棒性。