[论文解读] CLIFF: Carrying Location Information in Full Frames into Human Pose and Shape Estimation

Zhihao Li, Jianzhuang Liu+3 more|arXiv (Cornell University)|Aug 1, 2022

Human Pose and Action Recognition被引用 13

一句话总结

CLIFF 通过将完整图像中的全局位置信息整合到自顶向下的方法中，提升了 3D 人体姿态与形状估计的性能，利用边界框特征和完整图像的 2D 重投影损失，实现了准确的全局旋转预测。其在 AGORA SMPL-Algorithms 赛道上排名第一，3DPW 数据集上的 PA-MPJPE 达到 54.8mm。

ABSTRACT

Top-down methods dominate the field of 3D human pose and shape estimation, because they are decoupled from human detection and allow researchers to focus on the core problem. However, cropping, their first step, discards the location information from the very beginning, which makes themselves unable to accurately predict the global rotation in the original camera coordinate system. To address this problem, we propose to Carry Location Information in Full Frames (CLIFF) into this task. Specifically, we feed more holistic features to CLIFF by concatenating the cropped-image feature with its bounding box information. We calculate the 2D reprojection loss with a broader view of the full frame, taking a projection process similar to that of the person projected in the image. Fed and supervised by global-location-aware information, CLIFF directly predicts the global rotation along with more accurate articulated poses. Besides, we propose a pseudo-ground-truth annotator based on CLIFF, which provides high-quality 3D annotations for in-the-wild 2D datasets and offers crucial full supervision for regression-based methods. Extensive experiments on popular benchmarks show that CLIFF outperforms prior arts by a significant margin, and reaches the first place on the AGORA leaderboard (the SMPL-Algorithms track). The code and data are available at https://github.com/huawei-noah/noah-research/tree/master/CLIFF.

研究动机与目标

• 解决自顶向下 3D 人体姿态估计方法在裁剪过程中丢失全局位置信息的问题，从而导致全局旋转预测不准确。
• 通过利用完整图像的整体上下文信息，特别是原始相机坐标系下的全局旋转，提升关节姿态估计的准确性。
• 基于 CLIFF 的全局位置感知监督，开发一种高质量的伪真值标注器，用于野外 2D 数据集，为基于回归的模型提供更完整的监督。
• 减少由裁剪图像监督引入的歧义，该监督会扭曲 2D 重投影损失并误导姿态优化。

提出的方法

• CLIFF 通过将裁剪图像特征与边界框坐标拼接，增强自顶向下模型的输入，从而在原始图像中编码空间位置和尺度信息。
• 在完整图像空间中计算 2D 重投影损失，将预测的 3D 关节投影到原始图像平面上，以模拟真实的透视失真。
• 模型采用联合损失进行训练：包括标准的 3D 关键点和网格损失，以及完整图像的 2D 重投影损失，以监督全局旋转。
• 训练一种新型的伪真值标注器，利用 CLIFF 的架构，从 2D 关键点生成高质量的 3D 标注，采用完整图像的监督。
• 该方法在保留 SMPL 模型强隐式先验的同时，通过边界框特征显式编码位置信息，提升了泛化能力。
• 该框架与现有的自顶向下模型（如 HMR）兼容，并可扩展至涉及全局物体旋转的其他 3D 估计任务。

实验结果

研究问题

• RQ1 将完整图像中的全局位置信息整合到 3D 人体姿态估计中，能否提升全局旋转估计的准确性？
• RQ2 与在裁剪区域中计算 2D 重投影损失相比，在完整图像空间中计算该损失是否能带来更优的关节姿态预测？
• RQ3 基于 CLIFF 的伪真值标注器能否为野外 2D 数据集生成高质量的 3D 标注，从而提升下游回归模型的性能？
• RQ4 在标准基准测试中，CLIFF 与现有自顶向下方法相比，在全局旋转和姿态估计准确性方面表现如何？

主要发现

• CLIFF 在 3DPW 基准测试中实现了 54.8mm 的 PA-MPJPE，优于先前方法如 SPIN（66.9mm）和 EFT（60.7mm）。
• 在 Human3.6M 数据集上，CLIFF 将 MPJPE 降低至 85.4mm，PVE 降低至 100.5mm，显著优于基线 HMR 和先前的最先进方法。
• 消融实验表明，边界框输入（CI）和完整图像重投影损失（CS）均至关重要，当任一组件被移除时，MPJPE 增加超过 10mm。
• 基于 CLIFF 的伪真值标注器在 35,515 张图像上仅用 4 块 V100 GPU 即可在 30 分钟内生成高质量的 3D 标注，其速度和精度均优于微调方法如 EFT。
• 在 COCO 数据集上使用 CLIFF 生成的伪真值进行训练，与基于 EFT 的监督相比，模型在 3DPW 上的 MPJPE 提升了 13.2mm，PVE 提升了 20.5mm。
• CLIFF 在 AGORA 基准测试的 SMPL-Algorithms 赛道中排名第一，证明其在真实世界、非受限场景下的最先进性能。