[论文解读] Benchmarking and Analyzing 3D Human Pose and Shape Estimation Beyond Algorithms

Hui En Pang, Zhongang Cai+3 more|arXiv (Cornell University)|Sep 21, 2022

Human Pose and Action Recognition被引用 8

一句话总结

本文提出了一项全面的基准测试研究，涵盖3D人体姿态与形状估计的非算法因素，评估数据集、主干网络和训练策略。通过优化数据选择，使用强大的预训练主干网络（如Twins-SVT），并结合数据增强与L1损失，作者在3DPW数据集上实现了47.3毫米的PA-MPJPE——超越了具有更复杂架构的最先进模型，为未来研究建立了强大且公平的基线。

ABSTRACT

3D human pose and shape estimation (a.k.a. "human mesh recovery") has achieved substantial progress. Researchers mainly focus on the development of novel algorithms, while less attention has been paid to other critical factors involved. This could lead to less optimal baselines, hindering the fair and faithful evaluations of newly designed methodologies. To address this problem, this work presents the first comprehensive benchmarking study from three under-explored perspectives beyond algorithms. 1) Datasets. An analysis on 31 datasets reveals the distinct impacts of data samples: datasets featuring critical attributes (i.e. diverse poses, shapes, camera characteristics, backbone features) are more effective. Strategical selection and combination of high-quality datasets can yield a significant boost to the model performance. 2) Backbones. Experiments with 10 backbones, ranging from CNNs to transformers, show the knowledge learnt from a proximity task is readily transferable to human mesh recovery. 3) Training strategies. Proper augmentation techniques and loss designs are crucial. With the above findings, we achieve a PA-MPJPE of 47.3 mm on the 3DPW test set with a relatively simple model. More importantly, we provide strong baselines for fair comparisons of algorithms, and recommendations for building effective training configurations in the future. Codebase is available at http://github.com/smplbody/hmr-benchmarks

研究动机与目标

• 为解决3D人体网格恢复中非算法因素（如数据集选择、主干网络选择与训练策略）缺乏系统性评估的问题。
• 识别数据多样性（姿态、体型、相机视角、特征）如何影响模型性能，并推荐最优的数据集组合。
• 证明在相关任务（如2D姿态估计）上进行预训练，并使用强主干网络（如视觉Transformer）可显著提升性能。
• 通过优化配置建立HMR及其他模型的公平且强大的基线，以支持新算法的可靠比较。
• 提供一个公开代码库，以确保可复现性，并支持未来对3D人体网格恢复模型的基准测试。

提出的方法

• 该研究评估了31个多样化数据集，通过UMAP分析特征分布并评估其在3DPW上的性能，分析其对模型泛化能力的影响。
• 该研究对10种主干网络（包括CNNs如ResNet、HRNet与视觉Transformer如Twins-SVT）进行基准测试，并对从姿态估计模型进行预训练的消融分析。
• 作者比较了多种数据增强技术与损失函数，发现L1损失在降低噪声和提升泛化能力方面优于混合损失。
• 在HMR、PARE、SPIN、GraphCMR、MeshGraphormer等多种算法上进行了广泛的消融研究，均采用优化后的配置。
• 通过特征空间分析（姿态、体型、相机、主干特征）评估训练数据集与3DPW测试集之间的分布偏移。
• 发布了一个公开代码库，以支持可复现性，并促进未来基于所提出最优配置的基准测试。

实验结果

研究问题

• RQ1 不同数据集如何影响3D人体网格恢复性能？哪些属性（如姿态多样性、体型变化、相机特性）使数据集更具有效性？
• RQ2 通过在相关任务（如2D姿态估计）上进行预训练，能多大程度地将知识迁移至3D网格恢复？
• RQ3 如何组合数据增强与损失函数设计，以最小化恢复误差？
• RQ4 当使用最优的数据集、主干网络与训练策略配置时，简单模型能否实现最先进性能？
• RQ5 训练数据与3DPW之间在姿态、体型、相机与主干特征分布上的偏移，如何影响模型泛化能力？

主要发现

• 使用高质量数据集组合——尤其是具有多样化姿态、体型与相机视角的数据集——可带来显著的性能提升，其中MuCo-3DHP相比MPI-INF-3DHP能更有效地减少分布偏移。
• 在强2D姿态估计模型上进行预训练可显著提升主干网络质量，使用该方式初始化的Twins-SVT与HRNet-W32表现出更优性能。
• L1损失在降低噪声与提升泛化能力方面优于混合损失，尤其在结合数据增强时效果更佳。
• 性能最佳的模型在3DPW测试集上实现了47.3毫米的PA-MPJPE，采用基于HMR的简单架构，结合优化后的数据混合与训练策略。
• 本研究为HMR及其他算法在多个数据集与主干网络上建立了强大且公平的基线，相比以往工作，PA-MPJPE性能提升达10–15毫米。
• 特征分布分析表明，Instavariety、COCO与AGORA等数据集具有更丰富且可迁移的特征表示，能有效减少与3DPW的领域偏移。