[论文解读] An Integral Pose Regression System for the ECCV2018 PoseTrack Challenge

Xiao Sun, Chuankang Li+1 more|arXiv (Cornell University)|Sep 17, 2018

Human Pose and Action Recognition参考文献 9被引用 9

一句话总结

该论文在ECCV2018 PoseTrack挑战中提出了一种用于3D人体姿态估计的积分姿态回归系统，采用两阶段自顶向下的框架，结合人体框检测与相机投影建模。通过整合外部2D姿态数据（MPII、COCO）并使用端到端可微分的积分回归，该方法在CHALL_H80K测试集上实现了47mm的MPJPE，排名挑战赛第二名。

ABSTRACT

For the ECCV 2018 PoseTrack Challenge, we present a 3D human pose estimation system based mainly on the integral human pose regression method. We show a comprehensive ablation study to examine the key performance factors of the proposed system. Our system obtains 47mm MPJPE on the CHALL_H80K test dataset, placing second in the ECCV2018 3D human pose estimation challenge. Code will be released to facilitate future work.

研究动机与目标

• 开发一种适用于受控环境下单目RGB图像的鲁棒3D人体姿态估计系统。
• 通过在训练过程中整合外部2D姿态数据集（MPII、COCO）来提升性能。
• 探究积分回归方法在端到端3D关键点预测中的有效性。
• 评估数据增强、模型架构深度和推理策略对MPJPE的影响。
• 在挑战赛限制条件下，实现在Human3.6M数据集CHALL_H80K子集上的最先进性能。

提出的方法

• 采用两阶段自顶向下的方法：首先使用在COCO目标检测数据上训练的检测器检测人体框。
• 利用检测到的框对图像进行裁剪和缩放，生成归一化的局部图像块作为CNN的输入。
• 使用弱透视相机模型将3D真实值投影到2D图像坐标，用于训练期间的监督。
• 应用积分回归，以可微操作替代argmax后处理，实现端到端训练和连续输出。
• 使用混合2D/3D数据进行模型训练，其中2D监督来自MPII和COCO数据集，3D监督来自CHALL_H80K。
• 实施数据增强，包括随机平移、缩放、旋转和翻转，以提升泛化能力。

实验结果

研究问题

• RQ1 外部2D姿态数据（MPII、COCO）的整合对CHALL_H80K上3D姿态估计性能有何影响？
• RQ2 人体框检测在自顶向下3D姿态估计流程中对降低MPJPE的贡献如何？
• RQ3 模型深度（ResNet-50与ResNet-152）和输入分辨率对最终性能的影响如何？
• RQ4 推理时的数据增强（翻转测试）和模型集成对MPJPE的影响是什么？
• RQ5 最终性能对用于缩放预测3D坐标的平均骨骼长度选择的敏感性如何？

主要发现

• 添加人体框检测使MPJPE从115.9mm降低至86.5mm，相对提升25.4%。
• 在混合2D/3D训练中引入MPII 2D姿态数据，使MPJPE从86.5mm降低至62.2mm，相对提升28.1%。
• 使用更深的ResNet-152主干网络使MPJPE相比ResNet-50降低1.6%，从62.2mm降至61.2mm。
• 将输入分辨率从256×256提升至288×384，使MPJPE相对降低4.4%，从61.2mm降至58.5mm。
• 翻转测试和模型集成分别使MPJPE进一步降低1.0%和2.8%，在验证集上达到55.3mm。
• 最终系统在CHALL_H80K测试集上实现了47mm的MPJPE，获得ECCV2018 3D人体姿态估计挑战赛第二名。