[论文解读] Monocular, One-stage, Regression of Multiple 3D People

Yu Sun, Qian Bao+4 more|arXiv (Cornell University)|Aug 27, 2020

Human Pose and Action Recognition参考文献 44被引用 8

一句话总结

ROMP 提出了一种首个单阶段、单目方法，可从单张 RGB 图像端到端回归多个 3D 人体网格。它采用像素级表示，包含人体中心热力图与网格参数图，并通过一种碰撞感知的排斥场来解决重叠人群的问题，实现在 3DPW 和 CMU Panoptic 等基准上的最先进性能与实时推理（30+ FPS）。

ABSTRACT

This paper focuses on the regression of multiple 3D people from a single RGB image. Existing approaches predominantly follow a multi-stage pipeline that first detects people in bounding boxes and then independently regresses their 3D body meshes. In contrast, we propose to Regress all meshes in a One-stage fashion for Multiple 3D People (termed ROMP). The approach is conceptually simple, bounding box-free, and able to learn a per-pixel representation in an end-to-end manner. Our method simultaneously predicts a Body Center heatmap and a Mesh Parameter map, which can jointly describe the 3D body mesh on the pixel level. Through a body-center-guided sampling process, the body mesh parameters of all people in the image are easily extracted from the Mesh Parameter map. Equipped with such a fine-grained representation, our one-stage framework is free of the complex multi-stage process and more robust to occlusion. Compared with state-of-the-art methods, ROMP achieves superior performance on the challenging multi-person benchmarks, including 3DPW and CMU Panoptic. Experiments on crowded/occluded datasets demonstrate the robustness under various types of occlusion. The released code is the first real-time implementation of monocular multi-person 3D mesh regression.

研究动机与目标

• 解决多阶段流水线在多人 3D 网格回归中的局限性，特别是在遮挡与截断情况下的表现。
• 通过实现端到端、逐像素的 3D 人体网格预测，消除对边界框的依赖。
• 通过整体性、像素级表示提升在人群密集场景中的人体-人体与环境遮挡下的鲁棒性。
• 在保持高精度的同时，实现高速推理速度，满足实际应用需求。

提出的方法

• 模型预测两种显式可微的特征图：人体中心热力图，用于指示 2D 人体中心位置；以及网格参数图，用于按像素编码 SMPL 人体形状与姿态参数。
• 通过人体中心引导的采样过程，从网格参数图中提取热力图指定位置的 3D 网格参数，实现直接的网格重建。
• 碰撞感知表示（CAR）在人体中心之间引入排斥场，当中心过于接近时将其相互推开，尤其在重叠区域表现显著。
• 排斥场采用类物理模型，将人体中心视为正电荷，从而提升遮挡情况下中心的可区分性与采样精度。
• 整个网络通过多任务损失端到端训练，结合热力图与网格参数回归，监督信号来自真实人体中心。
• 该方法利用图像整体上下文进行特征学习，相比以往方法使用的局部边界框级特征，显著降低了歧义性。

实验结果

研究问题

• RQ1 单阶段、端到端框架是否能在单目多人 3D 网格回归任务中超越多阶段流水线？
• RQ2 像素级表示如何提升对人与人之间及环境遮挡的鲁棒性？
• RQ3 碰撞感知表示能否有效解决密集场景中人体中心重叠时的模糊性问题？
• RQ4 从完整图像上下文中学习是否能增强在真实世界遮挡场景下的泛化能力与性能表现？
• RQ5 单阶段方法是否能在不牺牲精度的前提下实现实时推理速度？

主要发现

• ROMP 在 3DPW 与 CMU Panoptic 基准上达到最先进性能，在所有活动类别中均优于现有方法。
• 在 3DPW-PC（人眼遮挡）与 Crowdpose 基准上，ROMP 分别将 PMPJPE 降低 4.8% 与 10.3%。
• 碰撞感知表示（CAR）在人群密集场景中显著提升性能，当 γ=0.2 时，Crowdpose 上性能提升达 10.3%。
• ROMP 在 1070Ti GPU 上推理速度超过 30 FPS，是首个实现单目多人 3D 网格回归实时化的模型。
• 该模型的推理时间与场景中人数无关，而多阶段方法的推理时间随人数增加而增长。
• 消融实验表明，性能提升主要源于在遮挡与截断情况下的歧义性缓解，验证了像素级、整体性表示的有效性。