[论文解读] Cooperative Holistic Scene Understanding: Unifying 3D Object, Layout, and Camera Pose Estimation

Siyuan Huang, Siyuan Qi+4 more|arXiv (Cornell University)|Oct 30, 2018

Advanced Vision and Imaging被引用 36

一句话总结

本文提出了一种端到端、实时的框架，用于从单张RGB图像实现整体3D室内场景理解，统一了3D目标检测、布局估计和相机位姿预测。该方法引入了参数化的3D边界框表示形式以及协作损失，以强制实现2D-3D一致性与物理合理性，在SUN RGB-D数据集上实现了最先进性能，显著提升了准确率与效率。

ABSTRACT

Holistic 3D indoor scene understanding refers to jointly recovering the i) object bounding boxes, ii) room layout, and iii) camera pose, all in 3D. The existing methods either are ineffective or only tackle the problem partially. In this paper, we propose an end-to-end model that simultaneously solves all three tasks in real-time given only a single RGB image. The essence of the proposed method is to improve the prediction by i) parametrizing the targets (e.g., 3D boxes) instead of directly estimating the targets, and ii) cooperative training across different modules in contrast to training these modules individually. Specifically, we parametrize the 3D object bounding boxes by the predictions from several modules, i.e., 3D camera pose and object attributes. The proposed method provides two major advantages: i) The parametrization helps maintain the consistency between the 2D image and the 3D world, thus largely reducing the prediction variances in 3D coordinates. ii) Constraints can be imposed on the parametrization to train different modules simultaneously. We call these constraints "cooperative losses" as they enable the joint training and inference. We employ three cooperative losses for 3D bounding boxes, 2D projections, and physical constraints to estimate a geometrically consistent and physically plausible 3D scene. Experiments on the SUN RGB-D dataset shows that the proposed method significantly outperforms prior approaches on 3D object detection, 3D layout estimation, 3D camera pose estimation, and holistic scene understanding.

研究动机与目标

• 为解决从单张RGB图像进行整体3D室内场景理解的挑战，现有方法在效率或完整性方面存在不足。
• 通过利用预测的相机位姿和物体属性而非直接回归3D坐标，对3D边界框进行参数化，以提升2D-3D一致性。
• 通过协作损失实现3D目标检测、布局估计与相机位姿估计的联合训练与推理，以强制实施几何与物理约束。
• 在保持高准确率与物理合理性的前提下，实现实时性能，适用于复杂室内场景。

提出的方法

• 利用2D边界框中心、预测的相机位姿和物体属性对3D目标边界框进行参数化，以维持2D-3D一致性。
• 引入一种可微分的2D投影损失，将3D边界框投影回图像平面，并与2D检测结果对齐。
• 设计协作损失——2D投影损失、几何一致性损失与物理约束损失——以联合训练三个模块。
• 采用统一的端到端深度学习架构，处理单张RGB图像，并同时输出3D布局、相机位姿与3D目标边界框。
• 应用物体尺寸先验与空间合理性约束，以提升泛化能力并减少预测方差。
• 通过结合2D监督、3D监督与无监督约束进行模型训练，实现在无需完整3D标注的情况下实现鲁棒推理。

实验结果

研究问题

• RQ1 能否通过3D边界框的参数化形式，在3D场景理解中有效强制实现2D-3D一致性？
• RQ2 如何通过3D目标检测、布局估计与相机位姿估计之间的协作训练，提升整体性能与泛化能力？
• RQ3 在端到端学习框架中，物理合理性与几何一致性在多大程度上可作为可微分约束嵌入？
• RQ4 是否可以使用弱监督或无监督替代方案取代完全监督模型，而不会牺牲3D目标检测的准确率？

主要发现

• 所提方法在SUN RGB-D数据集上的3D目标检测、3D布局估计、3D相机位姿估计及整体场景理解任务中均达到最先进性能。
• 移除2D投影损失（S2）后，2D mIoU显著下降8.0%，证明其在维持2D-3D一致性方面具有关键作用。
• 在无3D监督下训练的模型（S4）仍能生成合理的3D边界框，得益于尺寸先验，表明无监督约束的有效性。
• 消融实验表明，协作损失显著提升了所有任务的性能，尤其在3D监督有限时更为明显。
• 该模型实现了实时推理速度，适用于机器人及AR/VR应用中的实际部署。
• 在合成数据上进行预训练（S5）与使用投影2D边界框（S6）的性能几乎相同，表明对标注稀缺具有鲁棒性。