[论文解读] Scan2Plan: Efficient Floorplan Generation from 3D Scans of Indoor Scenes

Ameya Phalak, Vijay Badrinarayanan+1 more|arXiv (Cornell University)|Mar 16, 2020

3D Surveying and Cultural Heritage参考文献 39被引用 13

一句话总结

Scan2Plan 提出了一种两阶段深度学习方法，可从室内场景的3D扫描中生成精确且高效的平面图。它使用基于PointNet++的投票网络，从合成的3D点云中聚类房间和墙体，然后通过关键点上的最短路径算法计算封闭轮廓，仅使用合成训练数据即在Structured3D和BKE数据集上实现了最先进的准确率与速度。

ABSTRACT

We introduce Scan2Plan, a novel approach for accurate estimation of a floorplan from a 3D scan of the structural elements of indoor environments. The proposed method incorporates a two-stage approach where the initial stage clusters an unordered point cloud representation of the scene into room instances and wall instances using a deep neural network based voting approach. The subsequent stage estimates a closed perimeter, parameterized by a simple polygon, for each individual room by finding the shortest path along the predicted room and wall keypoints. The final floorplan is simply an assembly of all such room perimeters in the global co-ordinate system. The Scan2Plan pipeline produces accurate floorplans for complex layouts, is highly parallelizable and extremely efficient compared to existing methods. The voting module is trained only on synthetic data and evaluated on publicly available Structured3D and BKE datasets to demonstrate excellent qualitative and quantitative results outperforming state-of-the-art techniques.

研究动机与目标

• 开发一种高效且精确的从室内环境3D扫描中生成平面图的方法。
• 通过完全在程序生成的合成数据集上进行训练，克服真实世界标注3D平面图数据集稀缺的问题。
• 实现对房间数量、形状或布局无约束的平面图估计。
• 通过将全局问题分解为局部独立任务，实现高度并行化和计算效率。
• 证明即使仅在曼哈顿风格合成数据上进行训练，模型对非曼哈顿布局和复杂布局仍具有鲁棒的泛化能力。

提出的方法

• 使用PointNet++主干网络结合投票机制，从无序3D点云中预测房间和墙体的聚类标签。
• 在合成数据生成过程中应用随机旋转，以提升对非轴对齐布局的泛化能力。
• 利用房间和墙体的关键点，通过图表示上的最短路径算法计算每个房间的封闭轮廓。
• 将轮廓参数化为简单多边形，并在原始坐标系中组装成全局平面图。
• 通过墙体剔除步骤移除低点数墙体，以减少噪声并提升轮廓质量，后处理确保房间多边形无重叠。
• 该流程完全端到端可训练，且高度可并行化，支持在复杂场景中实现实时推理。

实验结果

研究问题

• RQ1 仅在合成数据上训练的平面图生成模型，能否泛化到真实世界中复杂多变的室内布局？
• RQ2 如何在大规模场景下实现平面图估计的高准确率与高计算效率？
• RQ3 两阶段方法（聚类后进行程序化轮廓拟合）在多大程度上优于全局优化方法？
• RQ4 尽管仅在曼哈顿风格数据上进行训练，该方法如何处理非曼哈顿布局和曲线墙体？
• RQ5 如随机旋转等数据增强技术对模型泛化能力有何影响？

主要发现

• Scan2Plan 在Structured3D和BKE数据集上实现了最先进的性能，其准确率和端到端推理速度均优于先前方法。
• 在BKE-struct数据集上，Scan2Plan 的精确率高于FloorSP，表明其对房间和角落基元的预测更准确，但因选择性房间生成导致召回率较低。
• 得益于通过随机旋转实现的数据增强，该方法成功泛化到训练中未见的非曼哈顿布局和复杂配置。
• 失败案例包括因聚类错误或墙体剔除导致的小房间被遗漏，以及因片段合并造成曲线墙体表示不准确。
• 模型对缺失或噪声输入点具有鲁棒性，但极端遮挡或数据丢失（如过滤导致）可能造成平面图不紧凑。
• 该流程高度可并行化，可高效处理包含多个房间和墙体的复杂场景。