[论文解读] Automatic Counting and Identification of Train Wagons Based on Computer Vision and Deep Learning

Rayson Laroca, Alessander Cidral Boslooper+1 more|arXiv (Cornell University)|Oct 30, 2020

Vehicle License Plate Recognition被引用 4

一句话总结

该论文提出了一种低成本、基于深度学习的计算机视觉系统，利用全高清视频实现列车车厢的自动计数与识别，实现100%的计数准确率和99.7%的识别率，并能自动排除11.6%的损坏编号——在成本低于昂贵的RFID系统的同时，仍可在低端硬件上高效运行。

ABSTRACT

In this work, we present a robust and efficient solution for counting and identifying train wagons using computer vision and deep learning. The proposed solution is cost-effective and can easily replace solutions based on radiofrequency identification (RFID), which are known to have high installation and maintenance costs. According to our experiments, our two-stage methodology achieves impressive results on real-world scenarios, i.e., 100% accuracy in the counting stage and 99.7% recognition rate in the identification one. Moreover, the system is able to automatically reject some of the train wagons successfully counted, as they have damaged identification codes. The results achieved were surprising considering that the proposed system requires low processing power (i.e., it can run in low-end setups) and that we used a relatively small number of images to train our Convolutional Neural Network (CNN) for character recognition. The proposed method is registered, under number BR512020000808-9, with the National Institute of Industrial Property (Brazil).

研究动机与目标

• 开发一种成本效益更高的RFID车厢追踪系统替代方案，以降低安装与维护成本。
• 解决由于光照变化、字体样式、编号损坏及摄像头角度变化带来的自动车厢计数与识别挑战。
• 构建对现实环境条件（如污垢、腐蚀及波纹表面投影的低分辨率文字）具有鲁棒性的系统。
• 通过最小化计算需求实现在低端硬件上的部署，同时不牺牲准确性。
• 自动检测并排除因编号模糊或损坏而无法识别的车厢，以提升系统可靠性。

提出的方法

• 采用两阶段方法：首先使用YOLOv4-tiny进行目标检测，以在全高清视频帧中定位车厢区域。
• 其次，使用自定义卷积神经网络（CNN）实现对字母数字车厢编号的端到端场景文本识别。
• 系统通过数据增强和迁移学习，在相对较小的14,935张图像数据集上实现有效训练。
• 通过OCR输出长度和编码标准，建立排斥机制，识别并排除编号损坏或无法辨认的车厢。
• 在多视角场景中，通过启发式规则融合多台摄像机的结果，以提高识别准确率。
• 系统在高端GPU上实现每秒16帧的处理速度，表明其可在低成本嵌入式硬件上实现实时部署。

实验结果

研究问题

• RQ1 在真实户外条件下，计算机视觉系统能否实现列车车厢100%的计数准确率？
• RQ2 在光照、字体和编号损坏条件变化的情况下，车厢识别能达到多高的准确率？
• RQ3 在有限数据集上训练的深度学习模型，其泛化能力在多大程度上可覆盖真实世界中的车厢编号变化？
• RQ4 对编号损坏或无法辨认的车厢进行自动排斥的机制有多有效？
• RQ5 多摄像机融合是否能在复杂场景中提升识别准确率？

主要发现

• 系统在所有评估视频中均实现了100%的计数准确率，正确识别并追踪了列车编组中的每一节车厢。
• 对于可读的车厢编号，识别率达到99.7%，即使在字体样式、颜色变化及部分遮挡的情况下依然保持稳定。
• 系统自动识别并排除了11.6%的车厢，因其编号损坏或无法辨认，从而提升了数据质量。
• 系统在高端GPU上实现每秒16帧的处理速度，表明其可在低成本嵌入式硬件上实现实时部署。
• 多摄像机设置通过使用启发式融合算法结合轨道两侧的图像结果，将识别错误从8起降至2起。
• 即使在低分辨率、噪声大或倾斜的文字投影下，系统仍能保持鲁棒性，尤其针对波纹车厢表面的投影。