[论文解读] Effective Whole-body Pose Estimation with Two-stages Distillation

Zhendong Yang, Ailing Zeng+2 more|arXiv (Cornell University)|Jul 29, 2023

Human Pose and Action RecognitionComputer Science被引用 3

一句话总结

本文提出 DWPose，一种用于高效且有效人体全身姿态估计的两阶段知识蒸馏框架。通过在第一阶段利用教师模型（RTMPose-x）的中间特征和完整关键点 logits 进行监督，在第二阶段应用轻量级、头部感知的自蒸馏方法，仅需 20% 的训练时间，DWPose 将 RTMPose-l 在 COCO-WholeBody 上的 AP 从 64.8% 提升至 66.5%，超越了教师模型。

ABSTRACT

Whole-body pose estimation localizes the human body, hand, face, and foot keypoints in an image. This task is challenging due to multi-scale body parts, fine-grained localization for low-resolution regions, and data scarcity. Meanwhile, applying a highly efficient and accurate pose estimator to widely human-centric understanding and generation tasks is urgent. In this work, we present a two-stage pose extbf{D}istillation for extbf{W}hole-body extbf{P}ose estimators, named extbf{DWPose}, to improve their effectiveness and efficiency. The first-stage distillation designs a weight-decay strategy while utilizing a teacher's intermediate feature and final logits with both visible and invisible keypoints to supervise the student from scratch. The second stage distills the student model itself to further improve performance. Different from the previous self-knowledge distillation, this stage finetunes the student's head with only 20% training time as a plug-and-play training strategy. For data limitations, we explore the UBody dataset that contains diverse facial expressions and hand gestures for real-life applications. Comprehensive experiments show the superiority of our proposed simple yet effective methods. We achieve new state-of-the-art performance on COCO-WholeBody, significantly boosting the whole-body AP of RTMPose-l from 64.8% to 66.5%, even surpassing RTMPose-x teacher with 65.3% AP. We release a series of models with different sizes, from tiny to large, for satisfying various downstream tasks. Our codes and models are available at https://github.com/IDEA-Research/DWPose.

研究动机与目标

• 提升真实世界中以人为中心的应用场景下全身姿态估计的精度与效率。
• 通过使用 UBody 等精选数据集，缓解手部和面部等细粒度身体部位的数据稀缺问题。
• 开发一种即插即用的蒸馏策略，在不显著增加推理成本的前提下增强轻量化模型的性能。
• 为下游任务（如可控图像生成）提供高质量的姿态估计。
• 在保持实时推理速度的同时，超越现有模型的性能表现。

提出的方法

• 第一阶段蒸馏利用教师模型最终 logits 中的可见与不可见关键点监督，以及中间特征，通过衰减的蒸馏权重稳定训练过程。
• 提出一种新颖的权重衰减策略，逐步降低蒸馏损失的影响，以提升训练稳定性和泛化能力。
• 第二阶段采用自知识蒸馏方法，仅微调学生模型的头部，冻结学生主干网络，并以另一个学生模型作为教师，仅需 20% 的训练时间。
• 该方法采用基于 logits 的蒸馏，无需目标掩码，实证表明其通过保留教师模型在不可见关键点上的知识，提升了性能。
• 该方法即插即用，兼容任意密集预测头，具备广泛适用性。
• 引入 UBody 数据集以增强在多样化面部表情和手势上的泛化能力，提升实际应用场景下的适用性。

实验结果

研究问题

• RQ1 两阶段蒸馏框架是否能在不增加推理成本的前提下，显著提升轻量化全身姿态估计器的精度？
• RQ2 从教师模型中同时利用可见与不可见关键点的监督，对学生模型在全身姿态估计中的表现有何影响？
• RQ3 轻量化、头部感知的自蒸馏策略在极短额外训练时间下，能将模型精度提升到何种程度？
• RQ4 引入 UBody 等多样化真实世界数据，对细粒度身体部位的姿态估计器鲁棒性与泛化能力有何影响？
• RQ5 更精确的姿态估计器是否能在不重新训练生成模型的前提下，提升可控图像生成的质量？

主要发现

• DWPose 在 COCO-WholeBody 上实现了 66.5% 的全新 SOTA 全身 AP，显著优于 RTMPose-l 的 64.8%。
• 该方法超越了 RTMPose-x 教师模型（AP 为 65.3%），证明了蒸馏流程的有效性。
• 第二阶段自蒸馏仅用 20% 的训练时间即实现性能提升，是一种高效且即插即用的策略。
• 在基于 logits 的蒸馏中移除目标掩码后，性能下降 1.1%，证明完整关键点监督（包括不可见关键点）对知识迁移至关重要。
• DWPose 将单张图像的推理时间缩短至 0.068 秒（对比 OpenPose 的 5.78 秒），且在多人场景下仍保持低延迟，具备良好的可扩展性。
• 在图像生成任务中，DWPose 与 ControlNet 配合使用时，相比 OpenPose 能生成更高质量的结果，得益于更精确的骨骼监督。