[论文解读] Capturing and Inferring Dense Full-Body Human-Scene Contact

Chun-Hao P. Huang, Hongwei Yi+6 more|arXiv (Cornell University)|Jun 20, 2022

Human Pose and Action Recognition被引用 6

一句话总结

本文提出了 RICH，一个新型数据集，通过高保真 3D 场景和人体扫描，在 4K 多视角视频中捕获密集的、顶点级别的体现场景接触。该研究提出 BSTRO，一种基于 Transformer 的网络，通过建模图像中的非局部关系来克服遮挡，从而从单张 RGB 图像中推断出 3D 全身接触，实现了 70.8% 的接触预测 F1 分数，达到当前最先进水平。

ABSTRACT

Inferring human-scene contact (HSC) is the first step toward understanding how humans interact with their surroundings. While detecting 2D human-object interaction (HOI) and reconstructing 3D human pose and shape (HPS) have enjoyed significant progress, reasoning about 3D human-scene contact from a single image is still challenging. Existing HSC detection methods consider only a few types of predefined contact, often reduce body and scene to a small number of primitives, and even overlook image evidence. To predict human-scene contact from a single image, we address the limitations above from both data and algorithmic perspectives. We capture a new dataset called RICH for "Real scenes, Interaction, Contact and Humans." RICH contains multiview outdoor/indoor video sequences at 4K resolution, ground-truth 3D human bodies captured using markerless motion capture, 3D body scans, and high resolution 3D scene scans. A key feature of RICH is that it also contains accurate vertex-level contact labels on the body. Using RICH, we train a network that predicts dense body-scene contacts from a single RGB image. Our key insight is that regions in contact are always occluded so the network needs the ability to explore the whole image for evidence. We use a transformer to learn such non-local relationships and propose a new Body-Scene contact TRansfOrmer (BSTRO). Very few methods explore 3D contact; those that do focus on the feet only, detect foot contact as a post-processing step, or infer contact from body pose without looking at the scene. To our knowledge, BSTRO is the first method to directly estimate 3D body-scene contact from a single image. We demonstrate that BSTRO significantly outperforms the prior art. The code and dataset are available at https://rich.is.tue.mpg.de.

研究动机与目标

• 为解决当前缺乏高质量、具有密集顶点级别人体-场景接触标注的数据集以用于训练与基准测试的问题。
• 开发一种方法，通过利用全局图像上下文信息来克服遮挡，从单张 RGB 图像中推断出 3D 全身接触。
• 通过引入场景接触信息来提升 3D 人体姿态与形状估计的性能，而当前方法大多忽略了这一点。
• 证明场景接触显著增加了单目人体姿态估计的难度，尤其是在遮挡条件下。
• 为未来联合人体-形状-场景接触估计与动态交互建模研究提供基础。

提出的方法

• RICH 数据集通过多视角 4K 摄像机、无标记动作捕捉和激光扫描的 3D 场景采集，以实现逐顶点的接触标注。
• 使用高分辨率的 3D 人体扫描（受试者穿着极少衣物）来拟合 SMPL-X 人体模型，提供真实的人体形状与姿态。
• 提出一种新型的体现场景接触 Transformer（BSTRO），采用多层 Transformer 建模图像中长距离、非局部关系，用于接触推理。
• BSTRO 在 RICH 上端到端训练，从单张 RGB 图像回归 SMPL-X 人体网格上的密集 3D 接触，利用图像证据克服遮挡。
• 网络架构设计用于利用场景上下文信息，并通过关注整个图像来推断被遮挡区域的接触。
• 评估采用精确率、召回率、F1 和几何误差指标，并通过消融实验研究场景接触对姿态估计的影响。

实验结果

研究问题

• RQ1 通过利用全局图像上下文信息来克服遮挡，单张图像方法能否准确预测密集的、顶点级别的体现场景接触？
• RQ2 有意义的场景接触存在时，对单目 3D 人体姿态与形状估计性能有何影响？
• RQ3 使用图像证据（而非仅依赖人体姿态或场景几何）在多大程度上能提升接触预测的准确性？
• RQ4 基于 Transformer 的架构能否有效建模复杂遮挡场景中的非局部关系以实现接触推理？
• RQ5 与以往方法相比，该方法在接触检测与人体姿态估计准确性方面表现如何？

主要发现

• BSTRO 在 RICH 测试集上实现了 70.8% 的接触预测 F1 分数，显著优于先前方法，如 Zou et al. [105]（35.9%）和 POSA [28]（使用真实人体时为 46.4%）。
• 包含有意义场景接触的图像相比无接触图像，其 MPJPE（214.0mm TR-MPJPE）和 V2V（172.81mm TR-V2V）误差更高，表明接触显著增加了姿态估计的难度。
• 对于运动相机，当存在接触时，PA-MPJPE 和 PA-V2V 误差分别为 84.15mm 和 83.16mm，而无接触时分别为 63.67mm 和 64.37mm，证实了接触带来的挑战。
• BSTRO 在不同子集上表现稳健：当训练时观察到场景与主体时，F1 达 76.9%；当未观察到任何属性时，F1 仍达 72.1%，表现出强大的泛化能力。
• 消融实验证实，场景接触是单目 3D 人体姿态估计中主要误差来源，因其引入了复杂的遮挡与模糊线索。
• RICH 数据集为单目 3D 人体-场景接触估计提供了首个基准，具备高分辨率图像、3D 场景扫描与逐顶点接触标注。