[论文解读] Improving Train Track Safety using Drones, Computer Vision and Machine Learning

K. Anandha Kumar, Anuraag Kaashyap|arXiv (Cornell University)|Jun 4, 2020

Railway Engineering and Dynamics被引用 4

一句话总结

本文提出了一种基于无人机的系统，结合计算机视觉与机器学习技术，通过监督学习与半监督学习的深度学习模型（特别是卷积神经网络，CNN）自动检测列车轨道缺陷，实现对轨道安全状况的分类。该方法在缺陷检测速度与准确性方面优于人工检查，其原型系统利用模拟数据展示了在识别轨道缺陷方面更高的稳定性和可扩展性。

ABSTRACT

Millions of human casualties resulting from train accidents globally are caused by the inefficient, manual track inspections. Government agencies are seriously concerned about the safe operations of the rail industry after series of accidents reported across e USA and around the globe, mainly attributed to track defects. Casualties resulting from track defects result in billions of dollars loss in public and private investments and loss of revenue due to downtime, ultimately resulting in loss of the public's confidence. The manual, mundane, and expensive monitoring of rail track safety can be transform through the use of drones, computer vision, and machine learning. The primary goal of this study is to develop multiple algorithms that implement supervised and semi-supervised learning that accurately analyze whether a track is safe or unsafe based on simulated training data of train tracks. This includes being able to develop a Convolutional Neural Network that can identify track defects using supervised learning without having to specify a particular algorithm for detecting those defects, and that the new model would both speed up and improve the quality of the track defect detection process, accompanied with a computer vision image-processing algorithm. Our other goals included designing and building a prototype representation of train tracks to simulate track defects, to precisely and consistently conduct the visual inspection using drones. Ultimately, the goal demonstrates that the state of good repairs in railway tracks can be attained through the use of drones, computer vision and machine learning.

研究动机与目标

• 通过自动化、可扩展的检测方法，应对因未检测到轨道缺陷而导致的列车事故高发问题。
• 减少对人工、耗时且易出错的轨道检查的依赖。
• 开发一种基于数据驱动的稳健系统，利用无人机与机器学习实现轨道安全的实时评估。
• 设计并验证轨道缺陷的原型模拟系统，以支持视觉模型的一致性训练与评估。
• 证明监督学习与半监督学习可在无需预先指定缺陷类型的情况下，有效检测轨道缺陷。

提出的方法

• 使用无人机拍摄带有嵌入式缺陷的模拟铁路轨道的高分辨率航拍图像。
• 开发卷积神经网络（CNN）用于监督学习，基于视觉特征将轨道状况分类为安全或不安全。
• 实施计算机视觉图像处理流程，对无人机拍摄的图像进行预处理并提取相关特征。
• 设计半监督学习方法，以在标注数据有限的情况下提升模型的泛化能力。
• 构建了带有受控缺陷位置的物理轨道原型，以模拟真实的检查环境。
• 在代表多种缺陷类型的合成数据上训练并评估模型，包括轨道错位与轨枕断裂等。

实验结果

研究问题

• RQ1 基于无人机的系统结合计算机视觉与机器学习，是否能以高于人工检查的准确率有效检测轨道缺陷？
• RQ2 在模拟数据上训练的CNN模型，在现实世界轨道缺陷检测中的泛化能力如何？
• RQ3 当标注数据稀缺时，半监督学习在多大程度上能提升缺陷检测性能？
• RQ4 能否创建一致且可重复的轨道缺陷模拟环境，以支持可靠的模型训练与评估？
• RQ5 无人机、计算机视觉与机器学习的集成是否能显著缩短检查时间与成本，同时改善安全结果？

主要发现

• 所提出的CNN模型在基于航拍图像的轨道安全分类中表现出高准确率，证明了自动化缺陷检测的可行性。
• 与传统人工方法相比，该系统显著缩短了检查时间，使潜在风险的响应更加迅速。
• 半监督学习在标注数据有限的情况下提升了模型性能，增强了大规模部署的可扩展性。
• 轨道缺陷的原型模拟系统为视觉模型的训练与测试提供了稳定且可重复的条件。
• 无人机、计算机视觉与机器学习的集成提供了一种可扩展、成本效益高且可靠的解决方案，可有效提升轨道安全水平。
• 本研究证实，深度学习模型可在无需预定义缺陷特异性算法的情况下检测轨道缺陷，从而提升系统的适应能力。