[论文解读] Pano2CAD: Room Layout From A Single Panorama Image

Jiu Xu, Björn Stenger+2 more|arXiv (Cornell University)|Sep 29, 2016

Advanced Vision and Imaging参考文献 35被引用 5

一句话总结

该论文提出Pano2CAD，一种基于马尔可夫世界假设下的贝叶斯推理方法，从单张360°全景图像重建3D房间布局与物体位姿。该方法结合表面法线估计、自顶向下2D目标检测与3D位姿估计，并引入上下文先验以采样合理的房间假设，无需深度传感器或多视角图像即可实现高精度的布局与物体几何估计。

ABSTRACT

This paper presents a method of estimating the geometry of a room and the 3D pose of objects from a single 360-degree panorama image. Assuming Manhattan World geometry, we formulate the task as a Bayesian inference problem in which we estimate positions and orientations of walls and objects. The method combines surface normal estimation, 2D object detection and 3D object pose estimation. Quantitative results are presented on a dataset of synthetically generated 3D rooms containing objects, as well as on a subset of hand-labeled images from the public SUN360 dataset.

研究动机与目标

• 解决由于几何线索有限而导致的单张全景图像下3D室内场景重建的固有欠定问题。
• 放宽先前工作对规则箱形房间的严格假设，改而使用马尔可夫世界约束来建模复杂且非矩形的房间几何结构。
• 通过整合自顶向下检测与3D模型库中的场景上下文，改进3D物体定位与位姿估计。
• 开发一种上下文先验，用于建模墙体与物体之间的空间关系，以指导假设采样。
• 在合成数据上进行定量评估，并在SUN360数据集的真实世界图像上进行定性分析。

提出的方法

• 将单张全景图转换为18张透视图，以支持逐像素的表面法线估计与使用Faster R-CNN的2D目标检测。
• 在透视投影上执行目标检测，并将检测到的边界框投影回全景图以保持场景表示的一致性。
• 通过基于条件随机场（CRF）的优化方法，结合截断与正则化，将检测到的2D物体与3D模型库中的物体进行匹配，以估计初始3D位姿。
• 通过将已知3D物体尺寸投影到场景中，并与检测到的2D边界框对齐，间接估计全局尺度。
• 利用建模墙体与物体之间空间关系的上下文先验，通过贝叶斯推理评估后验概率，对房间假设进行采样。
• 采用多阶段采样策略，迭代优化假设，以每轮中得分最高的样本作为下一轮的种子。

实验结果

研究问题

• RQ1 能否仅从单张全景图像推断出超越简单箱形几何结构的完整3D房间布局？
• RQ2 如何有效结合目标检测与3D位姿估计及表面法线估计，以提升布局重建性能？
• RQ3 在房间假设中引入墙体-物体关系的上下文先验，能在多大程度上提升3D场景假设的准确度与合理性？
• RQ4 当目标检测器失效或表面法线估计不准确时，该方法在真实世界图像上的表现如何？
• RQ5 能否通过利用已知3D物体尺寸，在无需深度传感器或多视角图像的情况下可靠估计全局尺度？

主要发现

• 在合成数据上，该方法实现了高精度的3D房间几何重建，墙体方向误差均值为10.2°，物体方向误差均值为12.5°，位置误差为0.21m。
• 引入上下文先验后，物体方向误差平均降低2.1°，证明其在优化假设方面的有效性。
• 在MS COCO数据集上，使用Faster R-CNN的目标检测mAP达到49.0%，性能与当前最先进方法相当。
• 在GPU上，18张透视图的平均目标检测耗时为7秒，每轮房间假设评估耗时30秒。
• 失败案例主要源于对细长或不规则结构（如窄家具或大型植物）的表面法线估计错误。
• 该方法成功从SUN360图像中自动生成了带尺度估计的2D平面图，证明其在真实全景图像中的适用性。