[论文解读] Learning to Construct 3D Building Wireframes from 3D Line Clouds

Yicheng Luo, Jing Ren+5 more|arXiv (Cornell University)|Aug 25, 2022

Remote Sensing and LiDAR Applications被引用 7

一句话总结

本论文提出了首个基于学习的从3D线云重建3D建筑线框的方法，采用两层线-patch Transformer，从相邻线段中预测节点与连接关系。该方法在新创建的包含3.6K栋建筑及真实线框的合成数据集上，实现了最先进水平的准确率与效率，优于多个基线方法。

ABSTRACT

Line clouds, though under-investigated in the previous work, potentially encode more compact structural information of buildings than point clouds extracted from multi-view images. In this work, we propose the first network to process line clouds for building wireframe abstraction. The network takes a line cloud as input , i.e., a nonstructural and unordered set of 3D line segments extracted from multi-view images, and outputs a 3D wireframe of the underlying building, which consists of a sparse set of 3D junctions connected by line segments. We observe that a line patch, i.e., a group of neighboring line segments, encodes sufficient contour information to predict the existence and even the 3D position of a potential junction, as well as the likelihood of connectivity between two query junctions. We therefore introduce a two-layer Line-Patch Transformer to extract junctions and connectivities from sampled line patches to form a 3D building wireframe model. We also introduce a synthetic dataset of multi-view images with ground-truth 3D wireframe. We extensively justify that our reconstructed 3D wireframe models significantly improve upon multiple baseline building reconstruction methods. The code and data can be found at https://github.com/Luo1Cheng/LC2WF.

研究动机与目标

• 为解决从线云重建3D建筑线框缺乏基于学习的方法的问题，因为线云相比点云更紧凑且结构信息更丰富。
• 克服现有方法依赖RANSAC或区域生长等离散操作的局限性，这些操作与端到端学习框架不兼容。
• 开发一种数据驱动方法，直接从无序、噪声较大的线云中预测3D线框节点与连接关系，这些线云是从多视角图像中提取的。
• 创建大规模合成数据集，包含多视角图像与真实3D线框，以支持基于学习的线框重建方法的训练与评估。
• 证明线段patch——即相邻线段的局部组合——能够编码足够的轮廓信息，以实现准确的线框抽象。

提出的方法

• 该方法以从多视角图像中提取的无序3D线云作为输入，表示建筑物的边与角。
• 通过采样局部线段patch（即相邻线段的组合）来捕捉局部轮廓结构。
• 引入两层线段patch Transformer，联合预测来自这些patch的3D节点与节点对之间的连接概率。
• 第一层Transformer从线段patch中预测候选节点及其3D位置，第二层则预测查询节点之间的连接关系。
• 模型在包含3.6K栋建筑的合成数据集上进行端到端训练，数据集包含配对的多视角图像与真实3D线框。
• 最终通过合并预测结果并应用后处理操作，确保拓扑一致性，构建完整线框。

实验结果

研究问题

• RQ1 线段patch——即3D线段的局部邻近组合——是否能编码足够的结构信息，以准确预测建筑线框中的3D节点与连接关系？
• RQ2 基于transformer的架构是否能有效学习从无序、噪声较大的线云中重建3D线框，而无需依赖离散几何操作？
• RQ3 基于学习的线框重建方法在准确率、效率与抗噪鲁棒性方面，相较于现有方法表现如何？
• RQ4 带有真实线框的合成数据集在多大程度上能够实现有效训练，并泛化到真实世界场景？
• RQ5 尽管线云存在噪声与不完整，该方法是否能在无需微调的情况下泛化到真实世界数据？

主要发现

• 所提出的LC2WF方法在3D线框重建中实现了最高准确率，在定量指标与视觉质量上均优于所有基线方法。
• 在合成数据集上，LC2WF的线框编辑距离为0.088，显著低于次优方法PC2WF的0.152，表明所需编辑操作更少。
• LC2WF生成的线框与真实节点的平均L2距离为0.048m，远低于PolyFit的0.121m，尽管PolyFit生成的形状在视觉上相似。
• LC2WF具有极高效率，平均仅需0.9秒即可推理出一个3D线框，而PolyFit需45.6秒，后者依赖计算量巨大的整数线性规划。
• 该方法在真实世界数据上泛化良好，在未经微调的情况下，对噪声扫描仍能生成合理线框，如在两份真实扫描上的定性结果所示。
• 线段patch Transformer能有效捕捉局部轮廓结构，即使在稀疏且噪声较大的线云中，也能实现准确的节点与连接关系预测。