[论文解读] Vision-based Automated Bridge Component Recognition Integrated With High-level Scene Understanding

Yasutaka Narazaki, Vedhus Hoskere+2 more|arXiv (Cornell University)|May 15, 2018

Infrastructure Maintenance and Monitoring参考文献 22被引用 20

一句话总结

本文提出一种基于视觉的系统，将多尺度卷积神经网络（CNNs）与高层场景理解相结合，从城市场景图像中自动识别桥梁构件（例如，桥墩、梁、板）。通过将像素级分类与10种高层场景类别（例如，天空、车辆、建筑）结合，该方法相比传统的仅使用CNN的方法显著降低了误报率，并提高了标注的一致性，在真实世界的桥梁检测场景中实现了更高的准确率。

ABSTRACT

Image data has a great potential of helping conventional visual inspections of civil engineering structures due to the ease of data acquisition and the advantages in capturing visual information. A variety of techniques have been proposed to detect damages, such as cracks and spalling on a close-up image of a single component (columns and road surfaces etc.). However, these techniques commonly suffer from severe false-positives especially when the image includes multiple components of different structures. To reduce the false-positives and extract reliable information about the structures' conditions, detection and localization of critical structural components are important first steps preceding the damage assessment. This study aims at recognizing bridge structural and non-structural components from images of urban scenes. During the bridge component recognition, every image pixel is classified into one of the five classes (non-bridge, columns, beams and slabs, other structural, other nonstructural) by multi-scale convolutional neural networks (multi-scale CNNs). To reduce false-positives and get consistent labels, the component classifications are integrated with scene understanding by an additional classifier with 10 higher-level scene classes (building, greenery, person, pavement, signs and poles, vehicles, bridges, water, sky, and others). The bridge component recognition integrated with the scene understanding is compared with the naive approach without scene classification in terms of accuracy, false-positives and consistencies to demonstrate the effectiveness of the integrated approach.

研究动机与目标

• 解决在复杂城市场景中因结构元素重叠导致的自动化桥梁构件检测中高误报率的问题。
• 通过在自然图像中精确定位和分类桥梁构件，提高结构状况评估的可靠性。
• 将低层次构件识别与高层场景理解相结合，实现更具上下文感知性且一致的标注。
• 评估将场景上下文与构件分类相结合在减少误分类和提高检测一致性方面的有效性。
• 提供一种基于现成视觉数据的稳健、自动化的土木基础设施检测解决方案。

提出的方法

• 采用多尺度卷积神经网络（CNNs）将图像中每个像素分类为五类桥梁构件：非桥梁、桥墩、梁与板、其他结构构件、其他非结构构件。
• 引入一个辅助分类器，将每幅图像分配到10种高层场景类别之一：建筑、绿化、行人、路面、标志与灯杆、车辆、桥梁、水体、天空和其他类别。
• 融合构件级CNN的输出与高层场景分类器的结果，以优化像素级预测并减少误报。
• 使用条件随机场（CRF）或类似后处理技术，以确保最终分割图的空间一致性。
• 在包含构件标签和场景标签的城区桥梁场景图像数据集上进行模型的训练与验证。
• 从准确率、误报率和标注一致性三个方面，将集成方法（含场景理解）与基线CNN-only方法进行对比。

实验结果

研究问题

• RQ1 将高层场景理解与构件级分类相结合，是否能降低从城市图像中识别桥梁构件时的误报率？
• RQ2 在复杂场景中，引入上下文场景信息在多大程度上提升了构件标注的一致性与可靠性？
• RQ3 在真实世界的城市环境中，场景上下文在多大程度上提升了多尺度CNN对桥梁构件分类的准确性？
• RQ4 不同场景类别（例如，车辆、建筑、天空）对构件识别模型性能有何影响？
• RQ5 所提出的低层次构件检测与高层场景理解的融合方法，是否比独立的构件分类更有效？

主要发现

• 与基线CNN-only方法相比，集成高层场景理解的方法显著降低了误报率。
• 在分类流程中引入场景上下文后，图像区域间的标注一致性显著提高。
• 该方法在分类桥梁构件方面表现出更高的总体准确率，尤其在结构元素重叠或模糊的场景中表现更优。
• 引入如“车辆”和“建筑”等场景类别有助于抑制对非桥梁结构的误检测。
• 系统有效减少了将非桥梁元素（如路面、标志）误分类为结构构件的情况。
• 定量评估证实，场景理解与构件识别的融合可带来更稳健、更可靠的自动化桥梁检测结果。