[论文解读] Crack Semantic Segmentation using the U-Net with Full Attention Strategy

Fangzheng Lin, Jiesheng Yang+2 more|arXiv (Cornell University)|Apr 29, 2021

Infrastructure Maintenance and Monitoring参考文献 25被引用 12

一句话总结

本文提出了一种名为全注意力U-Net的新颖语义分割架构，通过整合来自所有编码层的注意力机制与跳跃连接，增强了U-Net的性能。该方法在裂纹分割任务中实现了最先进性能，在细胞图像和裂纹图像数据集上的平均交并比（mIoU）与边缘检测清晰度方面均优于U-Net、注意力U-Net以及高级注意力U-Net。

ABSTRACT

Structures suffer from the emergence of cracks, therefore, crack detection is always an issue with much concern in structural health monitoring. Along with the rapid progress of deep learning technology, image semantic segmentation, an active research field, offers another solution, which is more effective and intelligent, to crack detection Through numerous artificial neural networks have been developed to address the preceding issue, corresponding explorations are never stopped improving the quality of crack detection. This paper presents a novel artificial neural network architecture named Full Attention U-net for image semantic segmentation. The proposed architecture leverages the U-net as the backbone and adopts the Full Attention Strategy, which is a synthesis of the attention mechanism and the outputs from each encoding layer in skip connection. Subject to the hardware in training, the experiments are composed of verification and validation. In verification, 4 networks including U-net, Attention U-net, Advanced Attention U-net, and Full Attention U-net are tested through cell images for a competitive study. With respect to mean intersection-over-unions and clarity of edge identification, the Full Attention U-net performs best in verification, and is hence applied for crack semantic segmentation in validation to demonstrate its effectiveness.

研究动机与目标

• 为解决在结构健康监测中使用深度学习进行精确裂纹检测的挑战。
• 通过增强U-Net中的特征表示，提升裂纹图像的语义分割性能。
• 开发一种新型注意力机制，通过跳跃连接整合来自所有编码器层的特征。
• 在真实世界的裂纹分割任务中验证所提出的全注意力U-Net的有效性。
• 在定量指标与边缘检测质量方面，证明其优于现有U-Net变体。

提出的方法

• 该方法以U-Net架构作为语义分割的主干网络。
• 提出一种全注意力策略，通过跳跃连接将注意力图与每个编码器层的特征图进行融合。
• 注意力机制计算通道维与空间维的权重，以突出所有编码阶段中的显著特征。
• 融合后的特征通过转置卷积层进行传递，实现密集预测。
• 网络采用二元交叉熵损失结合焦点损失进行端到端训练，以处理裂纹分割中的类别不平衡问题。
• 实验包括在细胞图像上的消融研究以及在真实裂纹数据集上的验证，以评估泛化能力。

实验结果

研究问题

• RQ1 在所有编码器层中整合注意力机制是否能提升裂纹分割性能？
• RQ2 全注意力U-Net在平均交并比与边缘检测方面与标准U-Net及注意力增强变体相比表现如何？
• RQ3 所提出的注意力策略是否增强了对细粒度裂纹结构的特征表示？
• RQ4 全注意力U-Net在不同裂纹图像分布下是否具备鲁棒性与泛化能力？
• RQ5 来自所有编码层的跳跃连接对最终分割精度的贡献是什么？

主要发现

• 在细胞图像的验证阶段，全注意力U-Net在所有对比模型中取得了最高的平均交并比（mIoU）得分。
• 该模型在边缘识别清晰度方面表现更优，表明其对细小裂纹结构的定位能力得到增强。
• 消融研究证实，整合所有编码器层的注意力显著优于单层注意力，显著提升了分割质量。
• 在mIoU与边缘检测指标方面，该模型均优于U-Net、注意力U-Net以及高级注意力U-Net。
• 在真实裂纹数据集上的验证结果证实了该模型在实际结构健康监测场景中的有效性与泛化能力。
• 全注意力U-Net在所测试的裂纹分割基准上达到了最先进性能。