[论文解读] Improved Pothole Detection Using YOLOv7 and ESRGAN

Nirmal Kumar Rout, Gyanateet Dutta+4 more|arXiv (Cornell University)|Nov 10, 2023

Infrastructure Maintenance and Monitoring被引用 5

一句话总结

本文提出一种两阶段流水线，通过 YOLOv7 和 ESRGAN 提升低分辨率图像质量，以实现更优的坑洼检测。通过应用基于 ESRGAN 的超分辨率技术对低质量行车记录仪输入进行上采样，该方法显著提升了 YOLOv7 的检测准确率与速度，在无需高端成像硬件的现实低分辨率数据上实现了卓越性能。

ABSTRACT

Potholes are common road hazards that is causing damage to vehicles and posing a safety risk to drivers. The introduction of Convolutional Neural Networks (CNNs) is widely used in the industry for object detection based on Deep Learning methods and has achieved significant progress in hardware improvement and software implementations. In this paper, a unique better algorithm is proposed to warrant the use of low-resolution cameras or low-resolution images and video feed for automatic pothole detection using Super Resolution (SR) through Super Resolution Generative Adversarial Networks (SRGANs). Then we have proceeded to establish a baseline pothole detection performance on low quality and high quality dashcam images using a You Only Look Once (YOLO) network, namely the YOLOv7 network. We then have illustrated and examined the speed and accuracy gained above the benchmark after having upscaling implementation on the low quality images.

研究动机与目标

• 解决现有深度学习模型在标准行车记录仪获取的低分辨率图像中检测坑洼的挑战。
• 在缺乏高质量成像或不切实际的现实条件下，提升检测准确率与速度。
• 在高分辨率与低分辨率图像上，为 YOLOv7 的坑洼检测建立稳健基线。
• 评估通过 ESRGAN 实现的超分辨率在提升低质量输入检测性能方面的有效性。
• 证明 ESRGAN 上采样可使 YOLOv7 在低分辨率数据上实现与高分辨率基准相当的竞争力表现。

提出的方法

• 该方法采用两阶段流水线：首先使用 ESRGAN 对低分辨率输入图像进行上采样至更高分辨率。
• ESRGAN 通过对抗损失和感知损失进行训练，以从低分辨率输入生成高分辨率图像，从而保留结构与纹理细节。
• 将增强后的高分辨率图像输入至经过微调的 YOLOv7 目标检测模型，专用于坑洼检测。
• 在低分辨率与高分辨率行车记录仪图像数据集上评估系统性能，对比超分辨率处理前后的检测效果。
• 在高质量图像上建立基线 YOLOv7 性能，作为性能参考基准。
• 对流水线进行推理速度优化，以确保在车载系统中实现实时应用。

实验结果

研究问题

• RQ1 基于 ESRGAN 的超分辨率能否有效恢复低分辨率行车记录仪图像，从而提升下游坑洼检测性能？
• RQ2 与原始低分辨率输入相比，YOLOv7 在 ESRGAN 上采样后的低分辨率图像上的检测准确率如何变化？
• RQ3 所提出方法在多大程度上弥合了 YOLOv7 在低分辨率与高分辨率图像检测之间的性能差距？
• RQ4 ESRGAN 与 YOLOv7 的集成是否保持了适合车载部署的实时推理速度？
• RQ5 与标准 YOLOv7 在高分辨率基准上的表现相比，所提出流水线的相对性能如何？

主要发现

• 在 ESRGAN 上采样后，所提方法在低分辨率图像上的坑洼检测准确率显著提升，优于同一输入下的基线 YOLOv7。
• 经过超分辨率处理后，检测的 mAP（平均精度均值）显著提高，证明图像增强能有效提升模型泛化能力。
• 该流水线保持了实时推理速度，适用于移动或嵌入式系统部署。
• YOLOv7 在 ESRGAN 上采样后的低分辨率图像上的表现接近其在高分辨率图像上的性能，表明图像恢复与检测之间存在强大的协同效应。
• ESRGAN 的使用使模型在成像条件较差时仍能实现可靠检测，减少误检率并提升鲁棒性。
• 该方法为低分辨率坑洼检测建立了新基线，表明超分辨率可作为现实世界部署中关键的预处理步骤。