[论文解读] Transfer Learning-based Road Damage Detection for Multiple Countries

Deeksha Arya, Hiroya Maeda+5 more|arXiv (Cornell University)|Aug 30, 2020

Infrastructure Maintenance and Monitoring参考文献 35被引用 68

一句话总结

该论文评估在印度和捷克共和国使用日本智能手机为基础的道路损坏检测模型的可用性，创建一个大规模异质的多国数据集，并提出在混合国家数据上训练的泛化迁移学习模型，以检测和分类道路损坏。

ABSTRACT

Many municipalities and road authorities seek to implement automated evaluation of road damage. However, they often lack technology, know-how, and funds to afford state-of-the-art equipment for data collection and analysis of road damages. Although some countries, like Japan, have developed less expensive and readily available Smartphone-based methods for automatic road condition monitoring, other countries still struggle to find efficient solutions. This work makes the following contributions in this context. Firstly, it assesses the usability of the Japanese model for other countries. Secondly, it proposes a large-scale heterogeneous road damage dataset comprising 26620 images collected from multiple countries using smartphones. Thirdly, we propose generalized models capable of detecting and classifying road damages in more than one country. Lastly, we provide recommendations for readers, local agencies, and municipalities of other countries when one other country publishes its data and model for automatic road damage detection and classification. Our dataset is available at (https://github.com/sekilab/RoadDamageDetector/).

研究动机与目标

• 评估日本道路损坏检测模型在其他国家的可用性。
• 使用智能手机从多个国家创建大规模异质数据集。
• 开发能够跨国家检测和分类道路损坏的通用模型。
• 为在采用跨国数据/模型时的机构提供实用建议。

提出的方法

• 从日本、印度和捷克共和国（以及部分斯洛伙克）收集并标注基于智能手机的道路损坏数据集。
• 定义四个损坏类别（D00, D10, D20, D40），以确保跨国适用性。
• 使用 labelImg 标注图像并转换为 TFRecord 格式以用于 TensorFlow Object Detection API。
• 使用迁移学习在 MobileNet SSD 上进行训练，针对 30 个训练/测试场景训练 16 个深度神经网络模型。
• 在 IoU=0.5 的条件下，基于损坏类别评估模型的准确率、召回率和 F1 分数。

实验结果

研究问题

• RQ1 在日本数据上训练的日本 RDD 模型能否在印度和捷克共和国有效检测道路损坏？
• RQ2 将来自多个国家的数据混合用于训练是否会提升跨国检测性能？
• RQ3 来自一个或多个国家的训练数据规模（2k–18k 图像）如何影响模型准确性？
• RQ4 考虑跨国数据/模型重用时，对各国的实际建议是什么？

主要发现

• 在印度和捷克测试数据上以日本数据为训练源的模型表现较差，表明在未进行适应的情况下跨国迁移受限。
• 以日本+印度数据进行训练的模型在日本的性能有所提升，但由于类别不平衡（如 D10）等原因，对不足样本的类别存在局限。
• 多源训练（印度+日本，或印度+日本+捷克）通常提高跨国检测在大多数损坏类别上的性能，尽管收益因类别和目标国家而异。
• 当目标为日本时，以印度+日本数据训练的模型在多个类别（D00、D20、D40）的 F1 分数往往高于仅日本训练。
• 对于目标印度，结果表明混合数据有改善，但类别不平衡（例如 D10）会在印度数据新增更多图像时抑制性能。