[论文解读] Autonomous damage assessment of structural columns using low-cost micro aerial vehicles and multi-view computer vision

Sina Tavasoli, Xiao Pan+3 more|arXiv (Cornell University)|Aug 30, 2023

Infrastructure Maintenance and Monitoring被引用 5

一句话总结

本文提出了一种半自主、低成本的微型飞行器（MAV）系统，利用多视角计算机视觉技术对钢筋混凝土（RC）柱进行损伤检测，如剥落和钢筋暴露。该MAV配备定制印刷电路板（PCB），集成有LiDAR和超声波传感器，可自主绕柱飞行，从多个角度采集图像，并应用基于视觉的算法高精度检测和定位损伤，显著提升了相较于人工方法的检测效率与自主性。

ABSTRACT

Structural columns are the crucial load-carrying components of buildings and bridges. Early detection of column damage is important for the assessment of the residual performance and the prevention of system-level collapse. This research proposes an innovative end-to-end micro aerial vehicles (MAVs)-based approach to automatically scan and inspect columns. First, an MAV-based automatic image collection method is proposed. The MAV is programmed to sense the structural columns and their surrounding environment. During the navigation, the MAV first detects and approaches the structural columns. Then, it starts to collect image data at multiple viewpoints around every detected column. Second, the collected images will be used to assess the damage types and damage locations. Third, the damage state of the structural column will be determined by fusing the evaluation outcomes from multiple camera views. In this study, reinforced concrete (RC) columns are selected to demonstrate the effectiveness of the approach. Experimental results indicate that the proposed MAV-based inspection approach can effectively collect images from multiple viewing angles, and accurately assess critical RC column damages. The approach improves the level of autonomy during the inspection. In addition, the evaluation outcomes are more comprehensive than the existing 2D vision methods. The concept of the proposed inspection approach can be extended to other structural columns such as bridge piers.

研究动机与目标

• 解决人工、耗时的灾后柱体检测方法所面临的局限，此类方法严重依赖检测人员的专业经验。
• 通过在受限室内环境中实现MAV的半自主飞行，减少对高技能飞行员的依赖。
• 通过利用多视角图像数据而非单视角二维分析，提升损伤评估的准确性。
• 开发一种成本低廉、低轮廓的MAV系统，具备避障能力，适用于复杂、无GPS信号的室内环境。
• 为未来基于视觉重建的完全自主、三维精确的结构检测奠定基础。

提出的方法

• 定制印刷电路板（PCB）集成了LiDAR与三个超声波传感器，实现360°障碍物检测与自主导航。
• MAV采用半自主飞行模式：初始阶段由人工操控飞行，检测到柱体后自动切换至自动驾驶模式。
• 在自主扫描过程中，MAV以30度间隔环绕柱体拍摄图像，并在遇到障碍物时记录图像位置。
• 基于视觉的柱体定位算法通过图像处理技术实时检测并跟踪柱体。
• 多视角损伤检测算法分析来自多个角度的RGB图像，识别并定位混凝土剥落与钢筋暴露。
• 通过融合多台相机视图的结果，确定损伤状态，以提高结果的可靠性与完整性。

实验结果

研究问题

• RQ1 低成本、半自主的MAV系统能否在无GPS信号的室内环境中有效采集RC柱的多视角图像？
• RQ2 与单视角方法相比，多视角计算机视觉在检测和定位常见RC柱损伤（如剥落和钢筋暴露）方面精度如何？
• RQ3 集成LiDAR与超声波传感器在受限空间中在多大程度上提升了障碍物规避与导航自主性？
• RQ4 所提出的系统能否减少对专家级人工飞行员的依赖，用于结构检测任务？
• RQ5 与未来三维重建技术相比，当前多视角视觉评估方法在全面损伤量化方面存在哪些局限？

主要发现

• MAV成功在室内环境中绕行三根受损RC柱，实现了稳定自主飞行，并从多个视角一致地采集图像。
• 基于视觉的损伤检测系统在所有三根测试柱上均准确识别并定位了混凝土剥落与钢筋暴露。
• LiDAR与超声波传感器的集成实现了全方位的有效障碍物探测与避障，显著提升了飞行安全性。
• 多视角评估方法相比单视角二维方法提供了更全面、更可靠的损伤评估结果。
• 该系统显著降低了对人工操控技能的依赖，展示了向完全自主结构检测迈进的实用一步。
• 作者确认，该框架可进一步扩展至三维重建与完全自主检测，通过先进SLAM算法与传感器融合实现。