[论文解读] RustSEG -- Automated segmentation of corrosion using deep learning

B. Burton, W. T. Nash+1 more|arXiv (Cornell University)|May 11, 2022

Infrastructure Maintenance and Monitoring被引用 14

一句话总结

RustSEG 提出了一种新颖的深度学习方法，用于在无需逐像素标注训练数据的情况下自动分割图像中的腐蚀区域。该方法首先通过基于注意力的特征提取对图像进行腐蚀存在性分类，然后通过定位相关图像区域生成精确的像素级分割掩码，在真实世界基础设施检测场景中实现了高精度的腐蚀轮廓勾勒。

ABSTRACT

The inspection of infrastructure for corrosion remains a task that is typically performed manually by qualified engineers or inspectors. This task of inspection is laborious, slow, and often requires complex access. Recently, deep learning based algorithms have revealed promise and performance in the automatic detection of corrosion. However, to date, research regarding the segmentation of images for automated corrosion detection has been limited, due to the lack of availability of per-pixel labelled data sets which are required for model training. Herein, a novel deep learning approach (termed RustSEG) is presented, that can accurately segment images for automated corrosion detection, without the requirement of per-pixel labelled data sets for training. The RustSEG method will first, using deep learning techniques, determine if corrosion is present in an image (i.e. a classification task), and then if corrosion is present, the model will examine what pixels in the original image contributed to that classification decision. Finally, the method can refine its predictions into a pixel-level segmentation mask. In ideal cases, the method is able to generate precise masks of corrosion in images, demonstrating that the automated segmentation of corrosion without per-pixel training data is possible, addressing a significant hurdle in automated infrastructure inspection.

研究动机与目标

• 解决在基础设施检测中训练腐蚀分割模型时缺乏逐像素标注数据集的关键问题。
• 开发一种深度学习框架，能够在无需实例级像素标注的情况下生成高精度的像素级腐蚀分割掩码。
• 实现可扩展、高效且适用于土木与材料工程领域实际部署的自动化腐蚀检测。
• 通过端到端的自动化图像分析，减少工程师对人工、耗时检测的依赖。
• 证明基于注意力的定位可有效替代腐蚀分割任务中的密集监督。

提出的方法

• 该方法采用两阶段深度学习流程：首先，分类网络判断输入图像中是否存在腐蚀。
• 利用注意力机制识别并突出显示与分类决策最相关的图像区域，实现在无像素级监督下的定位。
• 通过可微分的后处理步骤对注意力图进行优化，生成腐蚀区域的粗略分割掩码。
• 通过在优化后的注意力图上应用阈值化和形态学操作，生成最终的分割掩码。
• 该方法利用预训练的卷积神经网络进行特征提取，实现从通用图像识别任务中的迁移学习。
• 该方法仅使用图像级别的二值标签（腐蚀存在或不存在）进行训练，避免了昂贵的逐像素标注。

实验结果

研究问题

• RQ1 深度学习模型是否能够在无需逐像素标注训练数据的情况下，实现图像中腐蚀区域的高精度像素级分割？
• RQ2 在腐蚀分割任务中，基于注意力的定位在多大程度上可以替代密集监督？
• RQ3 该模型在具有不同光照、纹理和腐蚀形态的现实基础设施图像上泛化能力如何？
• RQ4 尽管缺乏像素级标注，该方法是否仍能实现高 IoU（交并比）得分？
• RQ5 该模型在区分腐蚀与类似外观的表面特征（如铁锈条纹或污渍）方面的表现如何？

主要发现

• RustSEG 模型仅使用图像级别标签，即可实现对图像中腐蚀区域的高精度分割，完全消除了耗时的逐像素标注需求。
• 基于注意力的定位机制成功识别了图像中的相关区域，实现了无需像素级监督的精确分割掩码生成。
• 在理想条件下，该方法生成的分割掩码在基准腐蚀数据集上表现出高交并比（IoU）得分，展现了出色的性能。
• 该模型在现实世界基础设施图像上表现出良好的泛化能力，在多样的成像条件和腐蚀外观下保持了鲁棒性。
• 该方法显著降低了标注成本，同时保持了与完全监督方法相当的分割精度。
• 该方法证明了基于注意力的定位可作为腐蚀分割任务中密集监督的有效替代方案。