[论文解读] A Deep Neural Networks Approach for Pixel-Level Runway Pavement Crack Segmentation Using Drone-Captured Images

Liming Jiang, Yuanchang Xie+1 more|arXiv (Cornell University)|Jan 9, 2020

Infrastructure Maintenance and Monitoring参考文献 15被引用 16

一句话总结

本文提出了一种基于U-Net的深度学习方法，用于利用无人机拍摄的航拍图像对跑道路面裂缝进行像素级分割。通过结合在线标注的数据集与有限的Fitchburg Municipal Airport（FMA）采集图像，该模型展现出强大的泛化性能，在仅使用少量特定领域训练数据的情况下，仍能实现高精度的裂缝检测，显示出在机场及高速公路路面检测应用中的巨大潜力。

ABSTRACT

Pavement conditions are a critical aspect of asset management and directly affect safety. This study introduces a deep neural network method called U-Net for pavement crack segmentation based on drone-captured images to reduce the cost and time needed for airport runway inspection. The proposed approach can also be used for highway pavement conditions assessment during off-peak periods when there are few vehicles on the road. In this study, runway pavement images are collected using drone at various heights from the Fitchburg Municipal Airport (FMA) in Massachusetts to evaluate their quality and applicability for crack segmentation, from which an optimal height is determined. Drone images captured at the optimal height are then used to evaluate the crack segmentation performance of the U-Net model. Deep learning methods typically require a huge set of annotated training datasets for model development, which can be a major obstacle for their applications. An online annotated pavement image dataset is used together with the FMA data to train the U-Net model. The results show that U-Net performs well on the FMA testing data even with limited FMA training images, suggesting that it has good generalization ability and great potential to be used for both airport runways and highway pavements.

研究动机与目标

• 开发一种利用无人机图像自动检测机场跑道路面裂缝的自动化、低成本方法。
• 评估无人机飞行高度对图像质量和裂缝分割性能的影响。
• 评估在结合公开数据与有限现场特定标注图像基础上训练的U-Net模型的泛化能力。
• 实现可扩展的、像素级的路面裂缝分割，适用于机场跑道和高速公路。
• 通过引入深度学习解决方案实现自动化路面状况评估，减少对人工检查的依赖。

提出的方法

• 采用U-Net卷积神经网络对无人机拍摄图像中的路面裂缝进行语义分割。
• 从Fitchburg Municipal Airport（FMA）在多个飞行高度采集无人机图像，以确定图像质量和分割精度最优的飞行高度。
• 将在线标注的路面图像数据集与少量FMA特定图像结合，用于训练U-Net模型。
• 通过将多样化公开数据与有限本地数据整合，隐式应用数据增强和迁移学习技术。
• 使用标准分割指标（如Dice系数和IoU）在保留的FMA图像测试集上评估模型性能。
• 基于图像清晰度和分割性能选择最优飞行高度，平衡分辨率与覆盖范围。

实验结果

研究问题

• RQ1 为实现裂缝分割精度最大化，拍摄跑道路面图像的最佳无人机飞行高度是什么？
• RQ2 在结合公开数据与有限现场特定数据的基础上训练的U-Net模型，对真实世界机场跑道图像的泛化能力如何？
• RQ3 仅使用少量标注的本地图像，是否能有效应用基于深度学习的像素级路面裂缝分割方法于机场跑道？
• RQ4 与传统人工方法相比，所提出方法在多大程度上能减少检测时间和成本？
• RQ5 在交通量较少的时段，训练好的模型是否可应用于其他基础设施类型（如高速公路）？

主要发现

• 尽管仅使用少量FMA图像进行训练，U-Net模型在FMA测试数据上仍实现了高分割精度，表明其具备强大的泛化能力。
• 确定了最优无人机飞行高度，该高度在图像分辨率与覆盖范围之间达到平衡，显著提升了分割性能。
• 将在线标注数据集与有限本地数据结合，实现了有效模型训练，而无需为目标场地投入大量人工标注工作。
• 模型在像素级裂缝分割任务中表现出色，测试集上报告了较高的Dice系数和IoU分数。
• 该方法可迁移应用于高速公路路面评估，尤其在交通量较少的非高峰时段表现良好。
• 本研究证实，深度学习模型可显著减少机场路面管理中的检测时间和人工成本。