[论文解读] JOTR: 3D Joint Contrastive Learning with Transformers for Occluded Human Mesh Recovery

Jiahao Li, Zongxin Yang+4 more|arXiv (Cornell University)|Jul 31, 2023

3D Shape Modeling and AnalysisEngineering被引用 3

一句话总结

该论文提出JOTR，一种基于Transformer的3D联合对比学习框架，用于遮挡人体网格恢复。它通过编码器-解码器Transformer架构融合2D与3D特征，并引入新颖的3D关节对比学习方法，包含关节到关节及关节到非关节的对比损失，以提供全局监督，显著提升3D表征质量，在遮挡特定及标准基准上实现最先进性能。

ABSTRACT

In this study, we focus on the problem of 3D human mesh recovery from a single image under obscured conditions. Most state-of-the-art methods aim to improve 2D alignment technologies, such as spatial averaging and 2D joint sampling. However, they tend to neglect the crucial aspect of 3D alignment by improving 3D representations. Furthermore, recent methods struggle to separate the target human from occlusion or background in crowded scenes as they optimize the 3D space of target human with 3D joint coordinates as local supervision. To address these issues, a desirable method would involve a framework for fusing 2D and 3D features and a strategy for optimizing the 3D space globally. Therefore, this paper presents 3D JOint contrastive learning with TRansformers (JOTR) framework for handling occluded 3D human mesh recovery. Our method includes an encoder-decoder transformer architecture to fuse 2D and 3D representations for achieving 2D$\&$3D aligned results in a coarse-to-fine manner and a novel 3D joint contrastive learning approach for adding explicitly global supervision for the 3D feature space. The contrastive learning approach includes two contrastive losses: joint-to-joint contrast for enhancing the similarity of semantically similar voxels (i.e., human joints), and joint-to-non-joint contrast for ensuring discrimination from others (e.g., occlusions and background). Qualitative and quantitative analyses demonstrate that our method outperforms state-of-the-art competitors on both occlusion-specific and standard benchmarks, significantly improving the reconstruction of occluded humans.

研究动机与目标

• 为解决现有方法仅关注2D对齐与局部3D关节监督的局限性，该局限性导致在遮挡或人群密集场景中泛化能力差。
• 通过融合2D与3D表征，以粗到精的方式实现联合2D与3D对齐，提升3D人体网格恢复性能。
• 在整个3D特征空间提供全局监督，以区分目标人体与遮挡物及背景，增强3D表征的语义清晰度。
• 通过引入对比学习目标，克服单图像3D重建的病态性问题，强化判别性3D特征学习。
• 在遮挡特定与标准3D人体网格恢复基准上均实现最先进性能。

提出的方法

• JOTR采用编码器-解码器Transformer架构，融合2D全局特征（从2D特征图展平得到）与3D局部特征（从3D关节坐标采样获得），以实现联合2D与3D对齐。
• 该方法采用粗到精的回归策略，通过多层Transformer逐步优化中间预测，提升网格精度。
• 提出一种新颖的3D关节对比学习目标，包含两种对比损失：关节到关节对比损失，用于增强语义相似体素（如人体关节）之间的相似性；关节到非关节对比损失，用于确保与遮挡物和背景的判别性。
• 关节到关节对比损失促进关节相关特征的紧凑聚类，而关节到非关节损失则强制与非关节体素分离，推动3D特征的全局去模糊化。
• 框架将SMPL参数回归与关节查询学习解耦，以减少干扰并提升优化稳定性。
• Transformer中的注意力机制使查询标记更关注3D特征，验证了2D-3D融合设计的有效性。

实验结果

研究问题

• RQ1 统一的2D-3D特征融合框架能否同时提升遮挡人体网格恢复中的2D与3D对齐性能？
• RQ2 与局部3D关节监督相比，通过对比学习实现的全局3D监督是否能带来更具判别性与语义清晰度的3D表征？
• RQ3 所提出的3D关节对比学习目标如何提升在人群密集或遮挡场景下的性能表现？
• RQ4 基于粗到精的Transformer回归策略是否能相比端到端基线方法提升网格重建精度？
• RQ5 将SMPL查询与关节查询解耦在多大程度上改善了整体性能？

主要发现

• JOTR在3DPW基准上达到最先进性能，在野外条件下实现更优的3D网格重建效果。
• 在CMU-Panoptic数据集上，JOTR在多人室内场景中超越先前方法，展现出在复杂、密集环境中的鲁棒性。
• 消融实验表明，3D特征融合可提升性能，且2D特征展平优于2D关节采样，尤其在遮挡区域表现更优。
• 关节到非关节对比损失对性能提升的贡献大于关节到关节损失，表明全局判别性的重要性。
• 注意力权重可视化显示，最终层的查询标记高度聚焦于3D特征，验证了融合机制的有效性。
• 特征可视化结果表明，对比学习目标使人体关节的嵌入更加紧凑且分离良好，显著提升了3D表征的清晰度。