[论文解读] Holistic 3D Scene Parsing and Reconstruction from a Single RGB Image

Siyuan Huang, Siyuan Qi+4 more|arXiv (Cornell University)|Aug 7, 2018

Advanced Vision and Imaging参考文献 16被引用 11

一句话总结

本文提出了一种从单张RGB图像出发的全景3D场景解析与重建框架，采用整体场景语法（HSG）联合建模功能、几何和物理约束。该方法采用分析-合成范式，结合马尔可夫链蒙特卡洛（MCMC）推理，以优化深度、表面法线和物体分割，显著优于以往方法，在3D布局估计、物体检测和场景理解方面表现优异。

ABSTRACT

We propose a computational framework to jointly parse a single RGB image and reconstruct a holistic 3D configuration composed by a set of CAD models using a stochastic grammar model. Specifically, we introduce a Holistic Scene Grammar (HSG) to represent the 3D scene structure, which characterizes a joint distribution over the functional and geometric space of indoor scenes. The proposed HSG captures three essential and often latent dimensions of the indoor scenes: i) latent human context, describing the affordance and the functionality of a room arrangement, ii) geometric constraints over the scene configurations, and iii) physical constraints that guarantee physically plausible parsing and reconstruction. We solve this joint parsing and reconstruction problem in an analysis-by-synthesis fashion, seeking to minimize the differences between the input image and the rendered images generated by our 3D representation, over the space of depth, surface normal, and object segmentation map. The optimal configuration, represented by a parse graph, is inferred using Markov chain Monte Carlo (MCMC), which efficiently traverses through the non-differentiable solution space, jointly optimizing object localization, 3D layout, and hidden human context. Experimental results demonstrate that the proposed algorithm improves the generalization ability and significantly outperforms prior methods on 3D layout estimation, 3D object detection, and holistic scene understanding.

研究动机与目标

• 通过联合推断功能、几何和物理场景约束，实现在单张RGB图像下的全景3D场景理解。
• 在室内场景中建模潜在的人类上下文（如功能性和可及性），超越物体-物体关系的建模。
• 通过将几何和物理约束整合到统一的生成式框架中，提升3D重建的泛化能力和物理合理性。
• 通过结合生成式场景建模与分析-合成推理，克服判别式方法和基于几何的方法的局限性。

提出的方法

• 提出整体场景语法（HSG），将3D场景表示为分层解析图，结合功能空间（活动组）与几何空间（CAD模型）。
• 通过嵌入隐式人类活动组，建模潜在的人类上下文，以从场景布局中推断功能性和可及性。
• 编码几何约束（如支撑关系）和物理约束（如碰撞避免），以确保场景配置的物理合理性。
• 采用分析-合成框架，通过将渲染的深度、法线和分割图与输入图像的直接估计结果进行比较，迭代优化3D场景。
• 采用带模拟退火的马尔可夫链蒙特卡洛（MCMC）方法，从后验分布中采样，并推断最大后验概率（MAP）解析图。
• 使用OpenGL进行渲染，并将预训练视觉模块（如2D布局、物体检测）的输出作为初始化。

实验结果

研究问题

• RQ1 如何利用单张RGB图像联合推断3D布局、物体定位和功能性的场景结构？
• RQ2 建模潜在的人类上下文是否能提升3D场景重建的准确性和可解释性？
• RQ3 如何有效将几何和物理约束整合到生成式3D场景解析框架中？
• RQ4 分析-合成结合MCMC推理在泛化能力上相较于判别式或基于几何的方法提升程度如何？

主要发现

• 该方法在LSUN数据集上的关键点误差为5.22%，优于所有先前方法，并在像素误差上达到最佳先前结果水平。
• 相机参数估计误差降低至焦距35.87，显著提升了基于几何方法的泛化能力，尤其在杂乱场景中表现更优。
• 在SUN RGB-D数据集上，联合推断框架在床类物体的3D检测中达到58.29%的mAP，超过初始检测基线的45.55%。
• 该方法在所有类别中均提升了3D布局估计性能，尤其在餐厅和小餐厅等复杂场景中，传统基于几何的方法失效时表现突出。
• 基于MCMC的推理过程通过联合优化深度、表面法线和分割图，实现了物理上合理的3D重建。
• 该框架展现出强大的泛化能力，单张图像的推理时间约为1小时（单核CPU），能有效处理包括办公室和储物间在内的复杂室内场景。