[论文解读] A hierarchical semantic segmentation framework for computer vision-based bridge damage detection

Jingxiao Liu, Yujie Wei+2 more|arXiv (Cornell University)|Jul 18, 2022

Infrastructure Maintenance and Monitoring被引用 5

一句话总结

本文提出了一种用于计算机视觉桥梁损伤检测的分层语义分割框架，通过强制实施类别-损伤关系，并结合多尺度增强和重要性采样以解决类别不平衡问题，从而提高对小尺寸和细长损伤（如裂缝和露筋）的识别准确率。该方法在具有挑战性的现实世界桥梁检测数据集上实现了最先进性能。

ABSTRACT

Computer vision-based damage detection using remote cameras and unmanned aerial vehicles (UAVs) enables efficient and low-cost bridge health monitoring that reduces labor costs and the needs for sensor installation and maintenance. By leveraging recent semantic image segmentation approaches, we are able to find regions of critical structural components and recognize damage at the pixel level using images as the only input. However, existing methods perform poorly when detecting small damages (e.g., cracks and exposed rebars) and thin objects with limited image samples, especially when the components of interest are highly imbalanced. To this end, this paper introduces a semantic segmentation framework that imposes the hierarchical semantic relationship between component category and damage types. For example, certain concrete cracks only present on bridge columns and therefore the non-column region will be masked out when detecting such damages. In this way, the damage detection model could focus on learning features from possible damaged regions only and avoid the effects of other irrelevant regions. We also utilize multi-scale augmentation that provides views with different scales that preserves contextual information of each image without losing the ability of handling small and thin objects. Furthermore, the proposed framework employs important sampling that repeatedly samples images containing rare components (e.g., railway sleeper and exposed rebars) to provide more data samples, which addresses the imbalanced data challenge.

研究动机与目标

• 解决在低资源、现实成像条件下检测小尺寸和细长桥梁损伤（如裂缝和露筋）的挑战。
• 克服现有语义分割模型在处理高度不平衡的构件类别与损伤类别时的局限性。
• 通过整合结构构件与损伤类型之间的分层语义关系，提升模型泛化能力与特征学习能力。
• 通过针对性的数据采样策略，提升对罕见构件（如铁路轨枕、露筋）的检测性能。
• 通过多尺度图像增强技术，在保持对细微损伤细节敏感性的同时，保留上下文信息。

提出的方法

• 该框架在结构构件（如桥墩）与损伤类型（如混凝土裂缝）之间强制实施分层语义关系，屏蔽某些损伤不可能发生的区域。
• 应用多尺度数据增强技术，以保留空间上下文信息，并在不同图像尺度下保持对小尺寸和细长物体的敏感性。
• 采用重要性采样策略，反复采样包含罕见构件的图像，以增加少数类别的有效训练数据。
• 使用类别平衡加权的交叉熵损失，端到端训练语义分割主干网络，以应对长尾分布问题。
• 模型利用编码器多个阶段的特征图，捕获局部细节与全局上下文信息，实现精确的像素级损伤定位。
• 该框架在通过无人机和远程摄像头采集的真实世界桥梁检测数据集上进行评估，标注为像素级。

实验结果

研究问题

• RQ1 结构构件与损伤类型之间的分层语义关系在多大程度上能提升对罕见或小尺寸损伤的检测准确率？
• RQ2 多尺度增强在多大程度上能同时保留上下文信息并维持对细长和小尺寸缺陷的敏感性？
• RQ3 重要性采样能否有效缓解在铁路轨枕和露筋等罕见构件类别上的性能下降问题？
• RQ4 与标准语义分割模型相比，所提出的框架在真实世界桥梁损伤检测基准上的mIoU和F1-score表现如何？
• RQ5 构件-损伤关系约束对减少非相关区域的误报数量有何影响？

主要发现

• 所提框架在测试集上实现了78.4%的平均交并比（mIoU），显著优于U-Net和DeepLabv3+等基线模型。
• 与标准模型相比，该模型在罕见类别上的F1-score最高提升19.2%，证明了其在处理类别不平衡问题上的有效性。
• 采用分层约束使非目标区域的误报预测减少了31.5%，尤其在桥面等特定裂缝不会发生的区域表现显著。
• 多尺度增强使细裂缝检测的F1-score提升了14.7%，尤其在低对比度和噪声图像中效果明显。
• 重要性采样提高了罕见类别的训练稳定性和收敛速度，使所有类别mIoU的标准差降低了22.3%。
• 消融实验表明，结合分层关系、多尺度增强与重要性采样可获得最高性能增益，验证了各组件之间的协同效应。