[论文解读] KrakN: Transfer Learning framework for thin crack detection in infrastructure maintenance

Mateusz Żarski, Bartosz Wójcik+1 more|arXiv (Cornell University)|Apr 26, 2020

Infrastructure Maintenance and Monitoring参考文献 43被引用 4

一句话总结

KrakN 是一种基于迁移学习的深度学习框架，通过数字图像实现对基础设施中细小裂纹的高精度、低计算门槛检测。该框架支持半自动数据集创建和多阶段分类，仅需极少的硬件和编程资源即可实现超过90%的准确率，使地方政府单位能够轻松部署用于实际桥梁检测。

ABSTRACT

Monitoring the technical condition of infrastructure is a crucial element to its maintenance. Currently applied methods are outdated, labour-intensive and inaccurate. At the same time, the latest methods using Artificial Intelligence techniques are severely limited in their application due to two main factors -- labour-intensive gathering of new datasets and high demand for computing power. We propose to utilize custom made framework -- KrakN, to overcome these limiting factors. It enables the development of unique infrastructure defects detectors on digital images, achieving the accuracy of above 90%. The framework supports semi-automatic creation of new datasets and has modest computing power requirements. It is implemented in the form of a ready-to-use software package openly distributed to the public. Thus, it can be used to immediately implement the methods proposed in this paper in the process of infrastructure management by government units, regardless of their financial capabilities.

研究动机与目标

• 解决当前基础设施检测方法存在的劳动强度大、易出错且依赖主观人工判断的局限性。
• 克服深度学习在土木基础设施监测中广泛应用所面临的高计算需求和数据采集障碍。
• 为地方政府和桥梁检测人员开发一种实用且易用的框架，使其无需高级编程或高端计算资源即可实施基于人工智能的裂纹检测。
• 通过模块化、分阶段的分类方法，实现针对本地基础设施状况的专用缺陷检测器构建。
• 提供公开可获取、开箱即用的软件包，以加速人工智能在基础设施维护工作流程中的集成。

提出的方法

• 利用预训练的卷积神经网络（CNNs）进行迁移学习，以减少对训练数据和计算资源的需求。
• 采用两阶段分类流程：首先通过通用分类器检测缺陷，随后应用专用分类器对缺陷类型（如剥落、污染）进行分类。
• 通过初始预测结果自动生成边界框和分割掩码，支持半自动化的数据集生成。
• 采用滑动窗口推理策略，高效处理大尺寸图像，实现高分辨率缺陷检测。
• 采用模块化软件架构，多阶段流水线中的每个分类器均为独立、可重新训练的模型，存储于指定目录中。
• 集成一个轻量级、开源的软件包（KrakN），包含训练、推理和数据集管理工具，支持直接部署。

实验结果

研究问题

• RQ1 在仅使用少量标注数据且计算成本极低的情况下，迁移学习能否有效应用于土木基础设施中的细小裂纹检测？
• RQ2 与从零开始训练网络相比，基于迁移学习的框架在准确率和推理效率方面表现如何？
• RQ3 半自动化的数据集创建过程在多大程度上能减轻基础设施缺陷检测中的数据标注工作负担？
• RQ4 模块化、分阶段的分类方法是否能在真实检测场景中提升对多种缺陷类型的检测准确率？
• RQ5 对于技术与财政资源有限的地方政府单位而言，该框架的部署可行性如何？

主要发现

• KrakN 在使用迁移学习的情况下，细小裂纹检测准确率超过90%，性能与从零开始训练的模型相当。
• 与从零开始训练相比，该框架将训练时间缩短了20倍以上，显著降低了计算需求。
• 半自动化的数据集创建过程有效减少了人工标注工作量，同时保持了高质量的边界框和分割掩码。
• 多阶段分类方法在几乎不增加额外计算成本的前提下，实现了对缺陷类型（如剥落、污染）的高精度区分。
• 软件包已公开发布于GitHub，地方政府单位可无需预算或技术专长即刻部署使用。
• 与当前最先进方法相比，该框架在多个数据集上展现出更高的通用性、更低的损失指标，支持可扩展且可适应的基础设施监测。