[论文解读] 3D vision-based structural masonry damage detection

Elmira Faraji Zonouz, Xiao Pan+2 more|arXiv (Cornell University)|Aug 31, 2023

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用 3

一句话总结

本研究提出一种基于3D视觉的方法，利用结构光场（SfM）生成3D点云，随后通过RANSAC平面分割与凸包体积估计，实现对现代砌体结构中剥落损伤的精确检测、定位与量化。该方法在无需深度学习或大规模训练数据集的情况下，实现了精确的剥落体积测量（例如0.0005 m³或块体体积的2.8%）。

ABSTRACT

The detection of masonry damage is essential for preventing potentially disastrous outcomes. Manual inspection can, however, take a long time and be hazardous to human inspectors. Automation of the inspection process using novel computer vision and machine learning algorithms can be a more efficient and safe solution to prevent further deterioration of the masonry structures. Most existing 2D vision-based methods are limited to qualitative damage classification, 2D localization, and in-plane quantification. In this study, we present a 3D vision-based methodology for accurate masonry damage detection, which offers a more robust solution with a greater field of view, depth of vision, and the ability to detect failures in complex environments. First, images of the masonry specimens are collected to generate a 3D point cloud. Second, 3D point clouds processing methods are developed to evaluate the masonry damage. We demonstrate the effectiveness of our approach through experiments on structural masonry components. Our experiments showed the proposed system can effectively classify damage states and localize and quantify critical damage features. The result showed the proposed method can improve the level of autonomy during the inspection of masonry structures.

研究动机与目标

• 开发一种稳健的非破坏性方法，用于检测和量化现代砌体构件中的剥落损伤。
• 克服基于2D视觉方法的局限性，如对光照条件的依赖以及缺乏深度信息与量化能力。
• 利用来自RGB图像的3D点云数据，实现精确且自动化的损伤评估。
• 证明基于几何基本体的分割方法在砌体结构健康监测中的可行性。
• 为砌体损伤检测提供一种可扩展、数据高效的技术替代方案，避免依赖深度学习。

提出的方法

• 使用结构光场（SfM）从多个2D RGB图像重建砌体试件的3D点云。
• 采用RANSAC算法通过拟合多数点的平面，识别内点与外点，实现点云分割。
• 将对应于剥落区域的外点隔离并以红色可视化，原始平面则以黑色显示。
• 对分割出的剥落区域应用凸包算法，以估计损伤的3D体积。
• 利用试件的已知尺寸进行尺度校准与验证，实现精确的体积量化。
• 该方法应用于受压混凝土砌块试件，结果在已知几何形状上进行了验证。

实验结果

研究问题

• RQ1 能否通过RGB图像的3D点云重建实现对砌体构件中剥落损伤的精确检测？
• RQ2 基于RANSAC的平面分割在从完整砌体表面中分离剥落区域方面的有效性如何？
• RQ3 凸包算法在3D点云中量化剥落混凝土体积的能力达到何种程度？
• RQ4 与2D视觉方法相比，该几何方法在深度感知与损伤量化方面是否更具优势？
• RQ5 该方法是否可在无需深度学习或大规模数据集的情况下，实现真实世界结构健康监测的可行性？

主要发现

• 所提出的方法成功定位了砌体块体中的剥落区域，受损区域在3D点云数据中被清晰分割并以红色可视化。
• 凸包算法估算出的剥落体积为0.0005 m³（500,000 mm³），相当于块体总体积的2.8%，证明了量化精度。
• 该方法在无需深度学习模型或大量训练数据的情况下，实现了可靠的分割与体积估算。
• 在未受损块体上的验证确认了尺度校准与测量过程的准确性，支持该方法的可靠性。
• 该方法实现了从半人工到全自动损伤评估的转变，显著提升了检测效率与安全性。
• 该技术在今后的研究中展现出在更大砌体构件（如墙体）上应用的强劲潜力。