[论文解读] Holistic++ Scene Understanding: Single-view 3D Holistic Scene Parsing and Human Pose Estimation with Human-Object Interaction and Physical Commonsense

Yixin Chen, Siyuan Huang+4 more|arXiv (Cornell University)|Sep 4, 2019

Human Pose and Action Recognition参考文献 58被引用 17

一句话总结

本文提出 Holistic++ 场景理解，这是一种统一框架，通过联合利用人-物体交互（HOI）和物理常识推理，实现单目图像的3D整体场景解析与人体姿态估计。通过在结构化解析图上使用马尔可夫链蒙特卡洛（MCMC）推理，该方法通过强制实施空间合理性与交互约束，提升了3D重建的准确性和跨数据集的泛化能力，在PiGraphs、Watch-n-Patch和SUN RGB-D数据集上的2D与3D指标上均优于基线方法。

ABSTRACT

We propose a new 3D holistic++ scene understanding problem, which jointly tackles two tasks from a single-view image: (i) holistic scene parsing and reconstruction---3D estimations of object bounding boxes, camera pose, and room layout, and (ii) 3D human pose estimation. The intuition behind is to leverage the coupled nature of these two tasks to improve the granularity and performance of scene understanding. We propose to exploit two critical and essential connections between these two tasks: (i) human-object interaction (HOI) to model the fine-grained relations between agents and objects in the scene, and (ii) physical commonsense to model the physical plausibility of the reconstructed scene. The optimal configuration of the 3D scene, represented by a parse graph, is inferred using Markov chain Monte Carlo (MCMC), which efficiently traverses through the non-differentiable joint solution space. Experimental results demonstrate that the proposed algorithm significantly improves the performance of the two tasks on three datasets, showing an improved generalization ability.

研究动机与目标

• 为解决从单张 RGB 图像联合重建 3D 场景与人体姿态的挑战，利用两项任务之间的相互依赖关系。
• 通过将人-物体交互（HOI）作为几何约束，改进代理与物体之间空间关系的精度，从而提升 3D 场景理解能力。
• 通过建模支持与物体恒常性等物理常识，增强 3D 重建的物理合理性与稳定性。
• 通过将 HOI 与物理常识作为通用先验知识嵌入，提升模型在多样化数据集上的泛化能力。
• 开发一种不可微的联合推理框架，利用在结构化解析图上的 MCMC 方法高效探索复杂解空间。

提出的方法

• 该方法将 3D 场景配置表示为具有分层解析树和终端节点上的马尔可夫随机场（MRF）的解析图，以建模上下文关系。
• 通过最大后验概率（MAP）估计执行联合推理，结合来自 2D 检测与投影 3D 预测的似然，以及 HOI 和物理常识的先验。
• 将人-物体交互（HOI）作为能量函数中的先验项建模，约束人类与物体之间可能的空间构型（例如，就坐、手持）。
• 通过惩罚项强制实施物理常识，惩罚诸如物体漂浮或穿透表面等物理上不可行的构型。
• 使用马尔可夫链蒙特卡洛（MCMC）采样器遍历不可微的解空间，以优化解析图，实现对人体姿态、物体框、相机位姿和房间布局的联合优化。
• 该框架采用由 HOI 引导的自顶向下采样流程，提升复杂或遮挡场景中的物体检测与姿态估计性能。

实验结果

研究问题

• RQ1 联合推理 3D 场景解析与人体姿态估计是否能超越孤立任务优化的性能？
• RQ2 人-物体交互（HOI）推理在减少单目 3D 重建中的几何模糊性并提升空间精度方面有多有效？
• RQ3 整合物理常识在多大程度上增强了 3D 场景重建的合理性与稳定性？
• RQ4 HOI 与物理常识能否作为通用先验知识，提升模型在现实世界复杂性各异的多样化数据集上的泛化能力？
• RQ5 基于 MCMC 的推理框架如何处理整体 3D 场景理解中不可微、高维的解空间？

主要发现

• 所提方法在 3D 人体姿态估计任务上达到最先进性能，PiGraphs 上 3D 误差从 0.732m（VNect）降低至 0.472m，Watch-n-Patch 上从 0.646m（VNect）降低至 0.330m。
• 在合成的 SUN RGB-D 数据集上，尽管使用了真实 2D 姿态，该方法仍将 3D 姿态误差从基线的 0.435m 降低至 0.517m，显示出鲁棒性。
• 消融分析表明，若移除 HOI，3D 物体 IoU 降低 0.9%（至 27.8%），3D 姿态误差增加 0.069m（至 0.521m），表明 HOI 在空间推理中起关键作用。
• 完整模型将物理违规（物体与支撑面之间的距离）从无物理先验时的 0.223m 降低至 0.150m，证实了物理合理性的提升。
• 该模型对 HOI 交互（如就坐）的漏检率降至 13.1%，显著低于排除 HOI 时的 15.2%，表明自顶向下推理可提升检测性能。
• 定性结果表明，该模型在 PiGraphs、Watch-n-Patch 和 SUN RGB-D 上均表现出一致的泛化能力，具有更优的初始化与物理上合理的 3D 布局。