[论文解读] Differentiable Hierarchical Graph Grouping for Multi-Person Pose Estimation

Sheng Jin, Wentao Liu+5 more|arXiv (Cornell University)|Jul 23, 2020

Human Pose and Action Recognition参考文献 51被引用 15

一句话总结

本文提出了一种可微分分层图分组（HGG）方法，这是一种新颖的端到端可训练框架，用于自下而上的多人员姿态估计，将关键点分组重新构型为可微分图聚类问题。通过将关键点候选作为动态图中的节点，并采用带有边和宏节点判别器的分层消息传递机制，HGG 实现了对分组结果的直接监督，显著提升了在 COCO 和 OCHuman 数据集上相对于非可微分基线方法的准确性。

ABSTRACT

Multi-person pose estimation is challenging because it localizes body keypoints for multiple persons simultaneously. Previous methods can be divided into two streams, i.e. top-down and bottom-up methods. The top-down methods localize keypoints after human detection, while the bottom-up methods localize keypoints directly and then cluster/group them for different persons, which are generally more efficient than top-down methods. However, in existing bottom-up methods, the keypoint grouping is usually solved independently from keypoint detection, making them not end-to-end trainable and have sub-optimal performance. In this paper, we investigate a new perspective of human part grouping and reformulate it as a graph clustering task. Especially, we propose a novel differentiable Hierarchical Graph Grouping (HGG) method to learn the graph grouping in bottom-up multi-person pose estimation task. Moreover, HGG is easily embedded into main-stream bottom-up methods. It takes human keypoint candidates as graph nodes and clusters keypoints in a multi-layer graph neural network model. The modules of HGG can be trained end-to-end with the keypoint detection network and is able to supervise the grouping process in a hierarchical manner. To improve the discrimination of the clustering, we add a set of edge discriminators and macro-node discriminators. Extensive experiments on both COCO and OCHuman datasets demonstrate that the proposed method improves the performance of bottom-up pose estimation methods.

研究动机与目标

• 为解决自下而上姿态估计中非可微分分组的局限性，该局限性阻碍了端到端训练和最优特征学习。
• 通过可学习的、可微分的图基框架直接监督聚类过程，以提高分组准确性。
• 通过自适应图结构实现对可变人数和关键点实例的灵活处理。
• 通过引入边判别器和宏节点判别器，增强关系特征学习，以更好地区分身体部位间的关系。
• 无缝集成到主流自下而上的姿态估计流水线中，无需架构大规模重构。

提出的方法

• 将关键点分组重新构型为图聚类任务，其中关键点候选作为节点，边表示同一人物关键点之间的潜在关联。
• 提出一种在线分层图聚类（OHGC）算法，通过迭代合并最置信的关键点对形成簇，从部件逐步构建完整人体的层次结构。
• 设计一个多层图神经网络（GNN），通过分层消息传递来优化节点表示和簇分配。
• 引入边判别器以增强局部关键点关系，引入宏节点判别器以在簇之间强制实现全局一致性。
• 使整个分组过程完全可微分，从而允许将分组损失反向传播至关键点检测网络，实现联合优化。
• 采用全连接图结构以实现最大连通性与性能，通过图结构配置的消融实验验证了其有效性。

实验结果

研究问题

• RQ1 自下而上的姿态估计中的关键点分组能否实现完全可微分并支持端到端训练？
• RQ2 在图基框架中，分层消息传递相较于标准 GNN 或后处理聚类方法，如何提升分组准确性？
• RQ3 引入边判别器和宏节点判别器对关系特征学习和分组性能有何影响？
• RQ4 可学习的图聚类机制能否在真实世界基准上超越非可微分的启发式分组方法？
• RQ5 所提出方法在遮挡和小尺寸人物实例等复杂场景下是否具备良好的泛化能力？

主要发现

• HGG 在 COCO 测试开发集上达到 67.6 AP，优于非端到端方法，并在更高 IoU 阈值（AP 75）下表现更优，表明精度显著提升。
• 在更具挑战性的 OCHuman 数据集中，HGG 在验证集上达到 41.8% mAP，在测试集上达到 36.0%，创下新的 SOTA 成绩。
• 在 OCHuman 测试集上，HGG 比自上而下的方法 SBL 高出 2.7 AP，证明了其在困难场景下的鲁棒性。
• 全连接图结构配置性能最佳（60.4% mAP），优于树状、旁路和扩展结构，且运行时开销极低。
• 分组模块仅占总推理时间的一小部分，表明尽管结构复杂，该方法仍具有高效性。
• 可视化结果证实，OHGC 算法逐步构建姿态层次结构，将身体部件逐级合并为完整姿态，支持全局一致性学习。