[论文解读] Human-Aware Object Placement for Visual Environment Reconstruction

Hongwei Yi, Chun-Hao P. Huang+6 more|arXiv (Cornell University)|Mar 7, 2022

Human Pose and Action Recognition被引用 5

一句话总结

MOVER 提出了一种新颖的优化框架，利用单目 RGB 视频中的人体-场景交互（HSI）来重建物理上合理的三维场景布局，并优化三维人体姿态与形状（HPS）。通过在多帧中联合优化物体位置与场景几何结构，结合深度排序、无碰撞运动及接触约束，MOVER 实现了最先进的三维场景重建效果，并在无需预先获取三维场景扫描的情况下，提升了 HPS 估计性能。

ABSTRACT

Humans are in constant contact with the world as they move through it and interact with it. This contact is a vital source of information for understanding 3D humans, 3D scenes, and the interactions between them. In fact, we demonstrate that these human-scene interactions (HSIs) can be leveraged to improve the 3D reconstruction of a scene from a monocular RGB video. Our key idea is that, as a person moves through a scene and interacts with it, we accumulate HSIs across multiple input images, and optimize the 3D scene to reconstruct a consistent, physically plausible and functional 3D scene layout. Our optimization-based approach exploits three types of HSI constraints: (1) humans that move in a scene are occluded or occlude objects, thus, defining the depth ordering of the objects, (2) humans move through free space and do not interpenetrate objects, (3) when humans and objects are in contact, the contact surfaces occupy the same place in space. Using these constraints in an optimization formulation across all observations, we significantly improve the 3D scene layout reconstruction. Furthermore, we show that our scene reconstruction can be used to refine the initial 3D human pose and shape (HPS) estimation. We evaluate the 3D scene layout reconstruction and HPS estimation qualitatively and quantitatively using the PROX and PiGraphs datasets. The code and data are available for research purposes at https://mover.is.tue.mpg.de/.

研究动机与目标

• 解决单目三维场景重建方法因忽略人体交互而产生物理上不合理的场景的问题。
• 通过利用源自人体-场景交互的场景一致性，改进三维人体姿态与形状（HPS）估计。
• 开发一种方法，仅从单一定点摄像头获取的视频中重建连贯的三维场景布局，而无需预先获取环境的三维扫描数据。
• 利用隐式与显式的人体-场景交互线索（如遮挡、不穿透和表面接触）以提升几何一致性。
• 证明在多帧中累积的人体-场景交互约束可联合优化场景布局与人体身体参数，从而提升真实感。

提出的方法

• MOVER 使用全局优化框架，通过人体-场景交互（HSI）约束，联合优化相机位姿、地面平面和三维物体位置。
• 其引入了三类 HSI 约束：基于遮挡的深度排序、人体不穿透物体，以及接触表面的空间共现。
• 该方法处理来自单目视频的输入，包括估计的三维人体网格和三维物体形状，以在多帧中累积交互线索。
• 优化过程采用可微分损失函数，结合基于 SDF 的接触、碰撞规避及深度排序约束。
• 该框架通过迭代优化接触和 SDF 损失，支持对场景布局和初始 HPS 估计的联合优化。
• 其无需预先获取三维场景扫描，仅依赖 RGB 视频即可实现重建。

(a)

实验结果

研究问题

• RQ1 能否利用单目 RGB 视频序列中的人体-场景交互来改善三维场景布局的重建？
• RQ2 如何在多帧中联合优化遮挡、不穿透和接触约束，以生成物理上合理的三维场景？
• RQ3 重建的三维场景在多大程度上能提升三维人体姿态与形状估计的准确性？
• RQ4 能否在不依赖环境预先获取三维扫描数据的前提下，实现一致的三维场景重建？
• RQ5 与单帧或孤立重建相比，多帧中累积的人体-场景交互线索在多大程度上提升了几何一致性？

主要发现

• 在加入相机和地面平面约束后，MOVER 将平均关节误差（PJE）降低 43.21，平均顶点到顶点距离（V2V）降低 42.41，显著提升了基线 HPS 估计性能。
• 在 PROX 数据集上，完整模型（包含所有 HSI 约束）达到 PJE 174.37 和 V2V 178.31，优于 HolisticMesh，且接近 PROX 性能，同时无需依赖三维场景扫描。
• 仅使用接触约束时，人体-场景接触得分最高，但非碰撞得分降低，表明接触保真度与碰撞规避之间存在权衡。
• 仅使用深度排序约束的模型在场景重建方面略优于完整模型，但接触得分更差，凸显了接触与碰撞约束之间的互补作用。
• SDF 与接触损失的结合进一步优化了 HPS 估计，表明场景一致性可显著提升人体姿态重建质量。
• 在 PROX 和 PiGraphs 上的定性结果表明，MOVER 生成的三维场景和人体姿态比 Total3D 和 HolisticMesh 更具连贯性与物理合理性。

(b)