[论文解读] Learning Structural Graph Layouts and 3D Shapes for Long Span Bridges 3D Reconstruction

Fangqiao Hu, Jin Zhao+2 more|arXiv (Cornell University)|Jul 8, 2019

3D Surveying and Cultural Heritage参考文献 71被引用 5

一句话总结

本文提出了一种基于学习的、拓扑感知的三维重建框架，能够从长跨距桥梁的无人机拍摄图像中联合预测结构图布局和三维形状。通过利用结构先验和深度学习，该方法实现了精确且紧凑的几何建模，同时保持了拓扑完整性，在两个真实桥梁上的组件数量准确率和数据效率方面优于点云和网格基方法。

ABSTRACT

A learning-based 3D reconstruction method for long-span bridges is proposed in this paper. 3D reconstruction generates a 3D computer model of a real object or scene from images, it involves many stages and open problems. Existing point-based methods focus on generating 3D point clouds and their reconstructed polygonal mesh or fitting-based geometrical models in urban scenes civil structures reconstruction within Manhattan world constrains and have made great achievements. Difficulties arise when an attempt is made to transfer these systems to structures with complex topology and part relations like steel trusses and long-span bridges, this could be attributed to point clouds are often unevenly distributed with noise and suffer from occlusions and incompletion, recovering a satisfactory 3D model from these highly unstructured point clouds in a bottom-up pattern while preserving the geometrical and topological properties makes enormous challenge to existing algorithms. Considering the prior human knowledge that these structures are in conformity to regular spatial layouts in terms of components, a learning-based topology-aware 3D reconstruction method which can obtain high-level structural graph layouts and low-level 3D shapes from images is proposed in this paper. We demonstrate the feasibility of this method by testing on two real long-span steel truss cable-stayed bridges.

研究动机与目标

• 为解决从噪声大、不完整且分布不均的多视图立体（MVS）点云中重建复杂、拓扑丰富的长跨距桥梁的挑战。
• 克服现有基于点和基于网格的重建方法在保持结构拓扑和组件关系方面的局限性。
• 开发一种联合预测高层结构图布局和低层三维几何形状的学习框架，输入为图像。
• 实现适用于下游应用（如结构健康监测和有限元建模）的自动化、高精度三维建模。
• 通过使用无人机影像在真实世界中的斜拉钢桁架桥梁上验证其可行性。

提出的方法

• 该方法采用深度学习框架，从无人机图像中联合预测结构图布局（表示组件拓扑）和三维形状（几何原语）。
• 在学习过程中整合结构先验（如规则的空间布局和组件关系），以指导重建过程。
• 框架采用可微分的流水线，优化图结构和三维形状参数，支持端到端训练。
• 使用几何原语（如长方体、圆柱体）来建模桥梁组件，其参数通过可微分渲染和损失函数进行优化。
• 通过下采样高分辨率模型来减小数据量，同时保留关键结构特征。
• 采用监督学习，使用人工创建的三维模型作为训练和评估的真值。

实验结果

研究问题

• RQ1 基于学习的方法能否从无人机图像中联合预测长跨距桥梁的结构图布局和三维形状？
• RQ2 与传统的点云或网格基方法相比，该方法在保持复杂桥梁结构的拓扑和几何特性方面表现如何？
• RQ3 引入结构先验在多大程度上提升了重建精度和数据效率？
• RQ4 该方法能否生成紧凑且具有语义意义的模型，适用于工程应用（如有限元建模）？
• RQ5 该方法在具有噪声、不完整MVS点云的真实桥梁上的表现如何？

主要发现

• 在桥梁1上，该方法的Chamfer距离达到0.06237，在桥梁2上达到0.02001，显著优于泊松曲面重建和Delaunay三角剖分方法。
• 该方法在桥梁1上重建了1,488个组件，在桥梁2上重建了914个组件，分别与真值1,430和914个组件非常接近。
• 该方法生成的数据大小为桥梁1的66,812和桥梁2的73,016，远小于原始点云和网格的11M+和29M+。
• 该方法成功地将几何原语（如长方体、圆柱体）拟合到RANSAC和学习基方法失败的噪声MVS点云上。
• 该框架对无人机影像中的噪声和遮挡表现出鲁棒性，无需人工干预即可生成结构一致的模型。
• 所学习的三维模型被证明适用于下游任务，如视觉检查、虚拟现实/增强现实可视化以及有限元建模。