[论文解读] Detection of Pavement Cracks by Deep Learning Models of Transformer and UNet

Yu Zhang, Lin Zhang|arXiv (Cornell University)|Apr 25, 2023

Infrastructure Maintenance and Monitoring被引用 5

一句话总结

本研究评估了九种深度学习模型——结合视觉变换器（Vision Transformers）与U-Net架构的模型——在自动路面裂缝检测中的表现。SwinUNet表现出最高精度，表明基于变换器的模型在裂缝分割任务中优于传统卷积神经网络（CNNs），但需要更高的计算资源。

ABSTRACT

Fracture is one of the main failure modes of engineering structures such as buildings and roads. Effective detection of surface cracks is significant for damage evaluation and structure maintenance. In recent years, the emergence and development of deep learning techniques have shown great potential to facilitate surface crack detection. Currently, most reported tasks were performed by a convolutional neural network (CNN), while the limitation of CNN may be improved by the transformer architecture introduced recently. In this study, we investigated nine promising models to evaluate their performance in pavement surface crack detection by model accuracy, computational complexity, and model stability. We created 711 images of 224 by 224 pixels with crack labels, selected an optimal loss function, compared the evaluation metrics of the validation dataset and test dataset, analyzed the data details, and checked the segmentation outcomes of each model. We find that transformer-based models generally are easier to converge during the training process and have higher accuracy, but usually exhibit more memory consumption and low processing efficiency. Among nine models, SwinUNet outperforms the other two transformers and shows the highest accuracy among nine models. The results should shed light on surface crack detection by various deep-learning models and provide a guideline for future applications in this field.

研究动机与目标

• 评估多种深度学习模型（包括视觉变换器和U-Net变体）在检测路面表面裂缝方面的性能。
• 评估模型在裂缝分割任务中的精度、计算复杂度和训练稳定性。
• 识别最优损失函数，并通过验证集和测试集评估模型的泛化能力。
• 为未来在基础设施健康监测与维护中的应用提供比较基准。

提出的方法

• 收集并整理了711张高分辨率（224×224）的路面图像，并进行了像素级裂缝标注。
• 在标注数据集上训练了九种深度学习模型，包括两种基于视觉变换器的架构和七种U-Net变体。
• 通过在验证数据上的实证评估，优化并选择了表现最佳的损失函数。
• 使用标准分割指标在验证集和独立测试集上评估各模型性能。
• 分析所有架构在模型收敛行为、推理效率和内存消耗方面的表现。
• 通过定性与定量分析分割结果，评估模型的鲁棒性与精度。

实验结果

研究问题

• RQ1 在路面裂缝分割任务中，基于视觉变换器的模型与U-Net架构相比，其分割精度如何？
• RQ2 哪种深度学习模型架构在保持训练稳定性和泛化能力的前提下实现了最高精度？
• RQ3 模型架构对裂缝检测任务中的计算复杂度和推理效率有何影响？
• RQ4 损失函数的选择如何影响模型的收敛性和分割性能？
• RQ5 与标准CNN-based模型相比，基于变换器的模型在泛化能力和鲁棒性方面提升了多少？

主要发现

• SwinUNet在所有九种评估模型中实现了最高分割精度，优于标准U-Net及其他基于视觉变换器的架构。
• 基于变换器的模型在训练过程中表现出更快的收敛速度，表明其优化动力学更优。
• 尽管精度更高，基于变换器的模型在内存消耗方面显著增加，且推理效率较低。
• 所选损失函数提升了模型的泛化能力，表现为在验证集和测试集上表现一致。
• 视觉变换器架构的模型稳定性更高，训练波动更小，对输入变化的鲁棒性更强。
• 结果证实，SwinUNet等混合架构能有效结合U-Net的局部归纳偏置与视觉变换器的全局注意力机制，从而实现更优的裂缝分割性能。