[论文解读] DeepPerimeter: Indoor Boundary Estimation from Posed Monocular Sequences

Ameya Phalak, Zhao Chen+4 more|arXiv (Cornell University)|Apr 25, 2019

Advanced Vision and Imaging参考文献 52被引用 9

一句话总结

DeepPerimeter 提出了一种深度学习流水线，仅通过一系列带有位姿的单目 RGB 图像序列，即可估计出完整度量尺度的室内周长（外墙布局）。通过结合多视角深度估计、语义墙体分割以及一种新型的深度无监督聚类网络（ClusterNet），该方法在无需 LiDAR 或预设房间形状的情况下，生成了高精度的平面周长图，在 ScanNet 和 FloorNet 基准测试中表现出色。

ABSTRACT

We present DeepPerimeter, a deep learning based pipeline for inferring a full indoor perimeter (i.e. exterior boundary map) from a sequence of posed RGB images. Our method relies on robust deep methods for depth estimation and wall segmentation to generate an exterior boundary point cloud, and then uses deep unsupervised clustering to fit wall planes to obtain a final boundary map of the room. We demonstrate that DeepPerimeter results in excellent visual and quantitative performance on the popular ScanNet and FloorNet datasets and works for room shapes of various complexities as well as in multiroom scenarios. We also establish important baselines for future work on indoor perimeter estimation, topics which will become increasingly prevalent as application areas like augmented reality and robotics become more significant.

研究动机与目标

• 为解决室内布局估计中缺乏标准化的问题，提出一种实用且广泛可访问的输入模态：带有位姿的单目视频。
• 开发一种稳健的端到端方法，仅基于常见传感器数据，估计室内空间的完整 3D 周长。
• 消除对昂贵 LiDAR 扫描或预定义房间形状枚举的依赖。
• 通过提供具有几何意义的房间骨架，为下游应用（如增强现实与机器人导航）奠定基础。
• 建立新的室内周长估计基准，作为迈向完整场景理解的关键一步。

提出的方法

• 流水线从基于多视角立体视觉的深度估计开始，利用带有位姿的 RGB 序列，相比单图像的单目深度预测，显著提升了精度。
• 采用深度语义分割网络从估计的深度图中分离出墙体点。
• 将墙体点投影到 3D 空间，形成点云，随后使用一种新型的深度无监督聚类网络（ClusterNet）进行聚类，该网络在合成数据上进行训练。
• ClusterNet 经优化，能够通过学习将属于同一面墙平面的点聚类在一起，从而检测远距离的平面区域。
• 最终生成的聚类被转换为平面边界，构成最终的周长图。
• 该方法包含两个关键模块：语义分割用于过滤非墙体点，以及 alpha 截断用于去除内部墙体，从而减少虚假拐角。

实验结果

研究问题

• RQ1 仅通过一系列带有位姿的单目 RGB 图像序列，深度学习流水线能否准确估计出完整度量尺度的室内周长？
• RQ2 与依赖 LiDAR 或预设房间类型的现有布局估计技术相比，所提出方法的性能如何？
• RQ3 使用多视角深度估计与无监督聚类在多大程度上提升了对遮挡拐角与复杂房间几何结构的鲁棒性？
• RQ4 在无真实平面标签的情况下，所提出的 ClusterNet 在将 3D 墙体点聚类为连贯平面区域方面的有效性如何？
• RQ5 建筑假设（如曼哈顿几何）与超参数（如合并阈值）对最终周长精度的影响有多大？

主要发现

• 当同时使用语义分割与 alpha 截断时，DeepPerimeter 在 ScanNet 数据集上实现了 0.760 的 2D IoU，优于消融实验的变体。
• 引入语义分割后，拐角误差从 0.611m 降低至 0.591m，虚假拐角率从每 100 个真实拐角 0.480% 降低至 0.359%。
• 若移除 alpha 截断，虚假拐角率将上升至每 100 个真实拐角 0.856%，导致因错误包含内部墙体点而生成错误的布局。
• 该方法在各种房间形状与多房间场景中均保持强劲性能，展现出超越简单几何结构的泛化能力。
• 消融研究证实，语义分割与 alpha 截断均对最小化误报与提升拐角定位精度至关重要。
• 该流水线对拐角与边缘遮挡具有鲁棒性，因其依赖于对整个墙面平面的聚类，而非孤立检测拐角。