[论文解读] Human Body Measurement Estimation with Adversarial Augmentation

Nataniel Ruiz, Míriam Bellver+5 more|arXiv (Cornell University)|Oct 11, 2022

Infrared Thermography in Medicine被引用 4

一句话总结

本文提出BMnet，一种深度卷积网络，能够从两张轮廓图像及身高/体重信息中估计14项人体测量参数。该方法引入了一种可微分的对抗性身体模拟器（ABS），可生成具有挑战性且稀有的身体形态（如极端BMI值），从而提升模型的鲁棒性与准确性，在真实数据上实现最高10%的准确率提升，并达到当前最先进水平，相比之前方法性能提升最高达3倍。

ABSTRACT

We present a Body Measurement network (BMnet) for estimating 3D anthropomorphic measurements of the human body shape from silhouette images. Training of BMnet is performed on data from real human subjects, and augmented with a novel adversarial body simulator (ABS) that finds and synthesizes challenging body shapes. ABS is based on the skinned multiperson linear (SMPL) body model, and aims to maximize BMnet measurement prediction error with respect to latent SMPL shape parameters. ABS is fully differentiable with respect to these parameters, and trained end-to-end via backpropagation with BMnet in the loop. Experiments show that ABS effectively discovers adversarial examples, such as bodies with extreme body mass indices (BMI), consistent with the rarity of extreme-BMI bodies in BMnet's training set. Thus ABS is able to reveal gaps in training data and potential failures in predicting under-represented body shapes. Results show that training BMnet with ABS improves measurement prediction accuracy on real bodies by up to 10%, when compared to no augmentation or random body shape sampling. Furthermore, our method significantly outperforms SOTA measurement estimation methods by as much as 3x. Finally, we release BodyM, the first challenging, large-scale dataset of photo silhouettes and body measurements of real human subjects, to further promote research in this area. Project website: https://adversarialbodysim.github.io

研究动机与目标

• 解决现有图像中准确、可扩展地估计物理人体测量参数的方法不足，特别是在需要度量精度时。
• 克服现有3D重建方法在保证度量保真度方面的局限性，并避免复杂后处理才能提取测量值。
• 通过生成合成的、具有挑战性的身体形态来缓解训练中的数据稀缺问题，从而暴露模型弱点。
• 提升测量估计模型的泛化能力与鲁棒性，特别是对高BMI等代表性不足的人群。
• 提供一个新的基准数据集，以推动从轮廓图像进行人体测量估计的研究。

提出的方法

• BMnet是一种深度卷积神经网络，从两张轮廓图像中回归14项物理人体测量参数，同时将身高和体重作为额外输入以解决尺度模糊问题。
• 对抗性身体模拟器（ABS）是一种可微分、端到端的框架，通过优化SMPL形状参数来最大化BMnet的预测误差，且姿态保持固定。
• ABS与BMnet构成闭环系统，利用反向传播生成对抗性样本，以暴露数据分布差距与模型脆弱性。
• 对抗性优化通过在形状参数上进行梯度上升实现，初始值来自真实BodyM受试者，使用Adam优化器，学习率为0.1，共迭代5步。
• 训练数据通过ABS生成的对抗性形状进行增强，显著提升了BMnet在真实世界测试数据上的表现，且无需额外收集真实数据。
• 该方法利用SMPL人体模型作为可微分的3D网格生成器，支持可微分渲染轮廓图像，并通过可微函数g提取测量值。

(a)

实验结果

研究问题

• RQ1 在SMPL空间内进行对抗性形状生成，能否有效揭示并缓解人体测量估计模型中的数据分布差距？
• RQ2 与随机采样或无增强相比，对抗性增强在真实人体受试者上的测量预测准确率提升程度如何？
• RQ3 在真实与模拟数据上，该方法在平均误差与各项测量误差方面，与当前最先进方法相比表现如何？
• RQ4 当使用对抗性数据进行训练时，模型能否对代表性不足的人群（如极端BMI个体）实现良好泛化？
• RQ5 当直接从预测网格中测量相同物理指标时，该方法是否优于基于网格重建的方法？

主要发现

• 对抗性增强使BMnet在真实人体上的测量预测准确率相比无增强或随机采样训练提升了最高10%。
• 该方法达到最先进性能，在模拟测试集上误差减少幅度相比之前SOTA方法最高达3倍。
• 在真实BodyFit数据集上，BMnet即使未提供身高和体重，其平均误差仍比近期基于HMR的方法降低超过35%。
• 对抗性增强显著降低了所有BMI类别中的误差，且在各项测量上均有稳定提升，尤其在小样本场景（1K样本）下表现突出。
• 该方法展现出强鲁棒性与泛化能力，对稀有及极端体型表现优异，证实ABS能有效发现模型失效模式。
• 发布BodyM数据集，包含2,505名真实受试者的轮廓图像与14项物理测量值，为该领域未来研究提供了新基准。

(b)