[论文解读] Data Augmentation of Railway Images for Track Inspection

S Ritika, Dattaraj Rao|arXiv (Cornell University)|Feb 5, 2018

Infrastructure Maintenance and Monitoring参考文献 1被引用 10

一句话总结

本文提出了一种用于铁路轨道检测的数据增强流程，通过模拟罕见缺陷（如太阳凹陷和植被过度生长）的图像来提高模型的鲁棒性。通过在合成生成的训练数据上微调Inception V3模型，该方法在分类太阳凹陷缺陷时实现了97.5%的精确率，并且尽管存在分布偏移，仍能很好地泛化到真实的植被图像。

ABSTRACT

Regular maintenance of all the assets is pivotal for proper functioning of railway. Manual maintenance can be very cumbersome and leave room for errors. Track anomalies like vegetation overgrowth, sun kinks affect the track construct and result in unequal load transfer, imbalanced lateral forces on tracks which causes further deterioration of tracks and can ultimately result in derailment of locomotive. Hence there is a need to continuously monitor rail track health. Track anomalies are rare with the skew as high as one anomaly in millions of good images. We propose a method to build training data that will make our algorithms more robust and help us detect real world track issues. The data augmentation will have a direct effect in making us detect better anomalies and hence improve time for railroads that is spent in manual inspection. This paper talks about a real world use case of detecting railway track defects from a camera mounted on a moving locomotive and tracking their locations. The camera is engineered to withstand the environment factors on a moving train and provide a consistent steady image at around 30 frames per second. An image simulation pipeline of track detection, region of interest selection, augmenting image for anomalies is implemented. Training images are simulated for sun kink and vegetation overgrowth. Inception V3 model pretrained on Imagenet dataset is finetuned for a 2 class classification. For the case of vegetation overgrowth, the model generalizes well on actual vegetation images, though it was trained and validated solely on simulated images which might have different distribution than the actual vegetation. Sun kink classifier can classify professionally simulated sun kink videos with a precision of 97.5%.

研究动机与目标

• 为解决铁路维护中罕见轨道缺陷的问题，即异常情况在每百万张图像中仅出现一次。
• 通过实现轨道缺陷的自动化检测，减少对昂贵且易出错的人工检查的依赖。
• 开发一种数据增强流程，以模拟真实轨道缺陷，如太阳凹陷和植被过度生长。
• 在仅使用模拟数据的情况下训练深度学习模型，使其能有效泛化到真实世界测试图像。
• 通过合成数据生成和迁移学习，提升罕见缺陷检测的鲁棒性。

提出的方法

• 安装在移动机车上的摄像系统在真实环境条件下以约30 fps的速度捕获一致的图像。
• 通过在真实轨道图像上模拟太阳凹陷和植被过度生长缺陷，图像模拟流程生成合成训练数据。
• 使用仅模拟图像对在ImageNet上预训练的Inception V3模型进行微调，以实现轨道缺陷的二分类。
• 在训练和推理过程中应用感兴趣区域选择，以聚焦于相关轨道段。
• 增强过程包括逼真的纹理和光照变化，以提升模型泛化能力。
• 使用专业模拟的太阳凹陷缺陷视频和真实植被图像对流程进行验证。

实验结果

研究问题

• RQ1 合成数据增强能否有效训练深度学习模型以检测罕见铁路轨道缺陷？
• RQ2 在仅使用模拟数据微调的模型，对真实世界植被过度生长图像的泛化能力如何？
• RQ3 仅使用模拟训练数据时，检测太阳凹陷缺陷能达到多高的精确率？
• RQ4 在轨道检测中典型的低数据环境下，数据增强是否能提升模型鲁棒性？
• RQ5 使用Inception V3的迁移学习方法能否在真实缺陷数据有限的情况下实现高性能？

主要发现

• 在专业模拟的太阳凹陷缺陷视频上测试时，太阳凹陷分类器的精确率达到97.5%。
• 仅在模拟植被过度生长图像上训练的模型能很好地泛化到真实世界植被图像，表明数据增强效果良好。
• 尽管真实异常出现频率极低，但使用合成数据显著提升了模型鲁棒性。
• 在模拟数据上微调Inception V3模型，使其在罕见缺陷检测任务中表现出色。
• 图像模拟流程成功生成了逼真的缺陷表示，从而提升了下游分类性能。
• 该方法减少了对大规模真实缺陷数据集的依赖，使轨道检测系统能够更快部署。