[论文解读] Improving Multi-Person Pose Estimation using Label Correction

Naoki Kato, Tianqi Li+2 more|arXiv (Cornell University)|Nov 8, 2018

Human Pose and Action Recognition参考文献 25被引用 11

一句话总结

本文提出了一种用于多人姿态估计的标签校正方法，利用教师模型通过逐元素最大值操作结合真实标签与教师模型的软预测结果，修正不完整或缺失的标注（如关键点超出图像边界或被遮挡的肢体）。在 COCO 数据集上的实验表明，使用校正后标签进行训练可将 AP 提升 2.3 个百分点（最高达 56.9），并加速收敛，优于知识蒸馏方法。

ABSTRACT

Significant attention is being paid to multi-person pose estimation methods recently, as there has been rapid progress in the field owing to convolutional neural networks. Especially, recent method which exploits part confidence maps and Part Affinity Fields (PAFs) has achieved accurate real-time prediction of multi-person keypoints. However, human annotated labels are sometimes inappropriate for learning models. For example, if there is a limb that extends outside an image, a keypoint for the limb may not have annotations because it exists outside of the image, and thus the labels for the limb can not be generated. If a model is trained with data including such missing labels, the output of the model for the location, even though it is correct, is penalized as a false positive, which is likely to cause negative effects on the performance of the model. In this paper, we point out the existence of some patterns of inappropriate labels, and propose a novel method for correcting such labels with a teacher model trained on such incomplete data. Experiments on the COCO dataset show that training with the corrected labels improves the performance of the model and also speeds up training.

研究动机与目标

• 识别并解决多人姿态估计数据集中因关键点超出图像边界或被遮挡而产生的不完整或错误标注模式。
• 提出一种新颖的标签校正框架，利用教师模型为缺失或无效标签生成合理、互补的预测。
• 通过用更鲁棒的校正标签替代噪声大或不完整的监督信号，提升模型性能与训练效率。

提出的方法

• 首先在原始数据集（可能包含不完整标注）上训练一个教师模型，以学习人体关键点配置与肢体关系的泛化表征。
• 对于每个训练样本，从真实标注中计算置信度图与部件关联场（PAFs），这些标注可能因关键点突出或遮挡而缺失。
• 所提方法对原始（可能不完整）标签与教师模型的软输出执行逐元素最大值操作，有效填补缺失或无效区域。
• 使用校正后的标签训练学生模型，且该校正过程隐式地引入了类似知识蒸馏的正则化。
• 该方法同时应用于置信度图与 PAFs，确保关键点与肢体表征学习的一致性。
• 通过消融实验与知识蒸馏方法对比，验证了其在性能与收敛速度上的优越性。

实验结果

研究问题

• RQ1 在使用关键点标注与基于 PAF 的监督时，多人姿态估计数据集中常见的标签错误类型有哪些？
• RQ2 训练好的模型能否有效生成缺失或无效标签的合理、互补预测？
• RQ3 使用教师模型的软输出对标签进行校正，是否能带来优于标准知识蒸馏的模型性能？
• RQ4 标签校正如何影响训练收敛速度与最终模型精度？
• RQ5 标签校正带来的性能增益是否依赖于同时校正置信度图与 PAFs？

主要发现

• 使用校正后标签训练后，COCO 上的平均精度（AP）从基线的 54.6 提升至 56.9，提升 2.3 个百分点。
• 该方法优于知识蒸馏，在两者结合使用时仍能取得更高性能。
• 标签校正加速了模型收敛，表现为训练过程中损失下降更快，效果类似知识蒸馏。
• 同时校正置信度图与 PAFs 时性能最佳，AP 达到 56.9；若仅校正其中一类，则 AP 为 55.5。
• 消融实验证实，置信度图与 PAF 校正对性能提升具有独立且协同的作用。
• 失败案例主要源于教师模型对非人体物体的误预测，或标签与预测输出之间的错位。