[论文解读] Group Pose: A Simple Baseline for End-to-End Multi-person Pose Estimation

Huan Liu, Qiang Chen+10 more|arXiv (Cornell University)|Aug 14, 2023

Human Pose and Action RecognitionComputer Science被引用 3

一句话总结

Group Pose 提出了一种简单而有效的基于 Transformer 的端到端多人姿态估计框架，通过双组自注意力机制取代复杂的解码器，分离了实例内与同类型实例间的交互。该方法在无需人体框监督的情况下，在 MS COCO 上实现了 72.0 的 SOTA AP，优于以往设计更复杂的模型。

ABSTRACT

In this paper, we study the problem of end-to-end multi-person pose estimation. State-of-the-art solutions adopt the DETR-like framework, and mainly develop the complex decoder, e.g., regarding pose estimation as keypoint box detection and combining with human detection in ED-Pose, hierarchically predicting with pose decoder and joint (keypoint) decoder in PETR. We present a simple yet effective transformer approach, named Group Pose. We simply regard $K$-keypoint pose estimation as predicting a set of $N imes K$ keypoint positions, each from a keypoint query, as well as representing each pose with an instance query for scoring $N$ pose predictions. Motivated by the intuition that the interaction, among across-instance queries of different types, is not directly helpful, we make a simple modification to decoder self-attention. We replace single self-attention over all the $N imes(K+1)$ queries with two subsequent group self-attentions: (i) $N$ within-instance self-attention, with each over $K$ keypoint queries and one instance query, and (ii) $(K+1)$ same-type across-instance self-attention, each over $N$ queries of the same type. The resulting decoder removes the interaction among across-instance type-different queries, easing the optimization and thus improving the performance. Experimental results on MS COCO and CrowdPose show that our approach without human box supervision is superior to previous methods with complex decoders, and even is slightly better than ED-Pose that uses human box supervision. $\href{https://github.com/Michel-liu/GroupPose-Paddle}{ m Paddle}$ and $\href{https://github.com/Michel-liu/GroupPose}{ m PyTorch}$ code are available.

研究动机与目标

• 通过用轻量级、基于查询的 Transformer 设计替代复杂解码器，简化端到端多人姿态估计。
• 通过消除标准自注意力中无益的跨类型查询交互，提升优化与性能。
• 在无需人体检测监督的情况下，保持高推理速度的同时实现强准确率。
• 提供一种灵活可扩展的基线模型，可独立使用，也可与人体检测头结合使用。

提出的方法

• 该方法使用 $N \times K$ 个关键点查询和 $N$ 个实例查询，以预测 $N$ 个人体姿态，每个姿态包含 $K$ 个关键点。
• 它用两种顺序执行的组自注意力机制替代标准解码器自注意力：(i) 对 $K$ 个关键点查询和一个实例查询进行 $N$ 个实例内的自注意力；(ii) 对同类型 $N$ 个查询进行 $(K+1)$ 个实例间的自注意力。
• 该设计显式建模了每个人体内部的运动学关系，并聚合了实例间的重复预测，同时避免了无益的跨类型交互。
• 模型使用标准 Transformer 损失进行端到端训练，无需不可微的后处理操作。
• 该框架支持独立训练，也支持与人体检测解码器集成以实现更好的初始化。
• 该架构已在 Paddle 和 PyTorch 中实现，代码已公开发布。

实验结果

研究问题

• RQ1 更简单的 Transformer 解码器设计是否能在端到端多人姿态估计中超越复杂的多头解码器？
• RQ2 在自注意力中移除跨类型查询交互是否能改善优化与性能？
• RQ3 基于查询的方法是否能在无需人体框监督的情况下实现 SOTA 结果？
• RQ4 该模型的推理速度与现有端到端框架相比如何？
• RQ5 实例查询初始化对收敛性和准确率的影响是什么？

主要发现

• Group Pose 在使用 ResNet-50 主干网络时，于 MS COCO val2017 上实现了 72.0 的 AP，优于使用人体框监督的 ED-Pose。
• 当使用 Swin-Large 主干网络时，Group Pose 在 MS COCO 上达到了 74.8 的 AP，展现出在大模型上的强大性能。
• 在单张 A100 GPU 上，该模型在 480×800 分辨率下实现 68.6 FPS 的实时推理速度，在 800×1333 分辨率下达到 31.3 FPS。
• 消融实验表明，移除跨类型交互可改善优化，Group Pose 即使在无人体检测解码器的情况下，也比 ED-Pose 收敛更快且准确率更高。
• 人体检测初始化使模型受益，提升了收敛速度，并在 60 个周期后将性能提升至 72.2 AP。
• 使用 100 个人体实例已足够，将数量增至 200 并未带来显著增益，验证了模型在实例数量上的高效性。