[论文解读] Automated Vision-based Bridge Component Extraction Using Multiscale Convolutional Neural Networks

Yasutaka Narazaki, Vedhus Hoskere+2 more|arXiv (Cornell University)|May 15, 2018

Infrastructure Maintenance and Monitoring参考文献 19被引用 12

一句话总结

本文提出了一种多尺度卷积神经网络（CNN）框架，用于从城市场景图像中自动提取桥梁构件，通过像素级分类以及超像素平均和条件随机场（CRFs）的后处理，结合场景分类与构件分割。该方法在识别五种关键桥梁构件方面实现了高精度与高一致性，显著减少了地震后视觉检查中的误报。

ABSTRACT

Image data has a great potential of helping post-earthquake visual inspections of civil engineering structures due to the ease of data acquisition and the advantages in capturing visual information. A variety of techniques have been applied to detect damages automatically from a close-up image of a structural component. However, the application of the automatic damage detection methods become increasingly difficult when the image includes multiple components from different structures. To reduce the inaccurate false positive alarms, critical structural components need to be recognized first, and the damage alarms need to be cleaned using the component recognition results. To achieve the goal, this study aims at recognizing and extracting bridge components from images of urban scenes. The bridge component recognition begins with pixel-wise classifications of an image into 10 scene classes. Then, the original image and the scene classification results are combined to classify the image pixels into five component classes. The multi-scale convolutional neural networks (multi-scale CNNs) are used to perform pixel-wise classification, and the classification results are post-processed by averaging within superpixels and smoothing by conditional random fields (CRFs). The performance of the bridge component extraction is tested in terms of accuracy and consistency.

研究动机与目标

• 为解决地震后视觉检查中误报损伤警报的问题，首先在复杂的城市场景图像中准确识别并提取桥梁构件。
• 通过在损伤评估前隔离关键结构构件，提高自动化损伤检测的可靠性。
• 开发一种稳健的端到端基于视觉的系统，结合场景级与构件级分类，用于城市桥梁基础设施。
• 通过使用多尺度CNN与基于CRF的后处理的两阶段分类流程，提升分割精度。

提出的方法

• 该方法首先使用多尺度CNN对输入图像进行像素级分类，划分为10个场景类别，以捕捉多感受野的上下文信息。
• 将原始图像与场景分类结果进行融合，并输入第二个多尺度CNN，对像素进行分类，划分为五类桥梁构件：主梁、支座、桥墩、桥面及其他。
• 通过基于超像素的平均处理对像素级预测进行优化，以聚合空间上一致的区域并减少噪声。
• 应用条件随机场（CRFs）进一步平滑分割边界，提升构件预测的空间一致性。
• 该框架将多尺度特征提取与基于CRF的后处理相结合，以提高定位精度。
• 系统在真实世界的城市桥梁图像上进行训练与评估，性能通过分割精度与一致性指标进行衡量。

实验结果

研究问题

• RQ1 多尺度CNN能否在复杂的城市桥梁场景中有效区分不同结构构件？
• RQ2 将场景分类与构件级分割相结合，如何提升构件提取的准确性？
• RQ3 基于超像素的平均处理与CRF后处理在多大程度上减少了分割噪声并改善了边界一致性？
• RQ4 与单阶段方法相比，该两阶段分类流程在构件识别可靠性方面表现如何？
• RQ5 该方法在具有高度视觉杂乱的真实城市环境中表现如何？

主要发现

• 所提出的方法在从复杂城市场景中识别五种关键桥梁构件方面实现了高像素级分割精度。
• 场景分类与构件级分割的整合显著降低了后续损伤检测流程中的误报警率。
• 基于超像素的平均处理与CRF后处理提升了空间一致性，并减少了构件边界的噪声。
• 多尺度CNN架构有效捕捉了多尺度上下文特征，增强了对小型或部分可见构件的识别能力。
• 该框架在多样化城市桥梁环境中表现出稳健性能，保持了构件提取的高一致性。