[论文解读] Crowdsensing-based Road Damage Detection Challenge (CRDDC-2022)

Deeksha Arya, Hiroya Maeda+5 more|arXiv (Cornell University)|Nov 21, 2022

Infrastructure Maintenance and Monitoring被引用 4

一句话总结

本论文介绍了基于众源感知的路面损伤检测挑战赛（CRDDC-2022），这是一场全球性数据竞赛，利用众源图像在六个不同国家评估了目标检测模型在识别路面损伤方面的表现。表现最佳的解决方案采用了YOLO与Faster R-CNN模型的集成方法，在所有国家的联合测试集上取得了76%的F1分数，展示了在使用多样化真实世界数据时，路面损伤检测中出色的跨区域泛化能力。

ABSTRACT

This paper summarizes the Crowdsensing-based Road Damage Detection Challenge (CRDDC), a Big Data Cup organized as a part of the IEEE International Conference on Big Data'2022. The Big Data Cup challenges involve a released dataset and a well-defined problem with clear evaluation metrics. The challenges run on a data competition platform that maintains a real-time online evaluation system for the participants. In the presented case, the data constitute 47,420 road images collected from India, Japan, the Czech Republic, Norway, the United States, and China to propose methods for automatically detecting road damages in these countries. More than 60 teams from 19 countries registered for this competition. The submitted solutions were evaluated using five leaderboards based on performance for unseen test images from the aforementioned six countries. This paper encapsulates the top 11 solutions proposed by these teams. The best-performing model utilizes ensemble learning based on YOLO and Faster-RCNN series models to yield an F1 score of 76% for test data combined from all 6 countries. The paper concludes with a comparison of current and past challenges and provides direction for the future.

研究动机与目标

• 开发一种鲁棒且可泛化的路面损伤检测系统，能够在多样化的地理、基础设施和成像条件下有效运行。
• 评估集成深度学习模型在检测四种常见路面损伤类型（纵向裂缝、横向裂缝、龟裂和坑洼）方面的有效性。
• 通过众源数据贡献实现参与，突破传统精选数据集的限制，纳入来自多个国家的真实世界变异性。
• 建立基于真实世界图像中目标检测的跨国路面状况评估标准化基准。
• 识别当前挑战的局限性，并为未来版本提出改进建议，包括计算支持和扩展的评估指标。

提出的方法

• 在第一阶段，参赛者可提出并提交自己的数据集，但在第三阶段仅使用提供的训练数据，以确保公平性和一致性。
• 该挑战赛采用实时在线评估系统，设有五个针对不同国家的排行榜以及一个涵盖全部六个国家的综合排行榜。
• 顶尖模型采用集成学习方法，结合YOLO系列与Faster R-CNN系列架构，并使用ImageNet预训练的主干网络，如ResNet-101和VGG-16。
• 在第三阶段允许进行数据增强和预处理，以提升模型泛化能力，但自第一阶段后不得添加新数据或标签。
• 评估基于平均精度（mAP）和F1分数，性能在来自印度、日本、捷克共和国、挪威、美国和中国的未见测试图像上进行衡量。
• 数据集包含47,420张通过智能手机、无人机、摩托车和广角相机采集的标注路面图像，真实反映了分辨率、光照条件和损伤外观的多样性。

Figure 1 : Distribution of images across different countries in RDD2022

实验结果

研究问题

• RQ1 深度学习模型在路面损伤检测中，对多样化地理和基础设施条件的泛化能力如何？
• RQ2 使用YOLO与Faster R-CNN架构进行集成学习对跨国路面损伤检测性能有何影响？
• RQ3 与单一国家数据集相比，纳入来自多个国家的众源数据如何提升模型的鲁棒性和泛化能力？
• RQ4 当前挑战在计算需求、时间分配和评估指标方面存在哪些主要局限性？
• RQ5 未来挑战应如何更好地支持计算资源有限的参与者，以促进更广泛的参与？

主要发现

• 表现最佳的模型在全部六个国家的联合测试集上取得了76%的F1分数，证明了其出色的跨区域泛化能力。
• 最优解决方案采用YOLOv5与Faster R-CNN模型的集成，结合ImageNet预训练的ResNet-101和VGG-16主干网络，优于单一架构模型。
• 该挑战赛吸引了来自19个国家的60多支团队参与，表明国际研究界对跨国路面损伤检测具有强烈兴趣。
• RDD2022数据集中高分辨率图像增加了计算需求，限制了GPU资源有限用户的参与。
• 参赛者普遍要求延长实验时间，凸显未来挑战需设置更长的竞赛周期。
• 未来挑战应考虑引入损伤严重程度分析、像素级分割任务，以及推理速度和模型大小等额外指标，以支持实际部署。

Figure 2 : Distribution of different damage type instances in training data released for CRDDC’2022