[论文解读] Vehicle and License Plate Recognition with Novel Dataset for Toll Collection

Muhammad Usama, Hafeez Anwar+2 more|arXiv (Cornell University)|Feb 11, 2022

Vehicle License Plate Recognition被引用 10

一句话总结

本文提出了一种基于车辆类型识别、车牌检测和字符识别的三阶段深度学习框架，用于自动收费系统，利用了包含10,000张巴基斯坦车辆图像的新数据集（DVLPD）。YOLOv4在车辆识别任务中达到最高的mAP（98.8%），车牌检测任务中为98.5%，字符识别任务中为98.3%；Tiny YOLOv4在Raspberry Pi上实现了每张图像0.95秒的实时推理速度。

ABSTRACT

We propose an automatic framework for toll collection, consisting of three steps: vehicle type recognition, license plate localization, and reading. However, each of the three steps becomes non-trivial due to image variations caused by several factors. The traditional vehicle decorations on the front cause variations among vehicles of the same type. These decorations make license plate localization and recognition difficult due to severe background clutter and partial occlusions. Likewise, on most vehicles, specifically trucks, the position of the license plate is not consistent. Lastly, for license plate reading, the variations are induced by non-uniform font styles, sizes, and partially occluded letters and numbers. Our proposed framework takes advantage of both data availability and performance evaluation of the backbone deep learning architectures. We gather a novel dataset, \emph{Diverse Vehicle and License Plates Dataset (DVLPD)}, consisting of 10k images belonging to six vehicle types. Each image is then manually annotated for vehicle type, license plate, and its characters and digits. For each of the three tasks, we evaluate You Only Look Once (YOLO)v2, YOLOv3, YOLOv4, and FasterRCNN. For real-time implementation on a Raspberry Pi, we evaluate the lighter versions of YOLO named Tiny YOLOv3 and Tiny YOLOv4. The best Mean Average Precision (mAP@0.5) of 98.8% for vehicle type recognition, 98.5% for license plate detection, and 98.3% for license plate reading is achieved by YOLOv4, while its lighter version, i.e., Tiny YOLOv4 obtained a mAP of 97.1%, 97.4%, and 93.7% on vehicle type recognition, license plate detection, and license plate reading, respectively. The dataset and the training codes are available at https://github.com/usama-x930/VT-LPR

研究动机与目标

• 为解决现实世界巴基斯坦交通中因类内差异、车牌位置不统一以及图像退化带来的自动收费挑战。
• 开发一种鲁棒的、端到端的基于图像的车辆与车牌识别系统，避免依赖RFID基础设施。
• 在专为巴基斯坦车辆设计的多样化数据集上，评估最先进目标检测与识别模型（YOLOv2–v4、FasterRCNN、Tiny YOLO）的性能。
• 实现在Raspberry Pi等低成本硬件上的实时部署，适用于实际收费站场景。
• 公开提供数据集与代码库，以支持未来在真实条件下车辆与车牌识别的研究。

提出的方法

• 收集并标注了包含10,000张图像的多样化车辆与车牌数据集（DVLPD），涵盖六种车辆类型，人工标注了车辆类型、车牌位置以及字符/数字内容。
• 设计了三阶段流水线：Vehicle-Net（车辆检测与分类）、LP-Net（车牌定位）和CR-Net（字符与数字识别）。
• 使用平均精度均值（mAP@0.5）作为主要指标，在所有三项任务上对YOLOv2、YOLOv3、YOLOv4、FasterRCNN及其轻量化变体（Tiny YOLOv3、Tiny YOLOv4）进行训练与评估。
• 通过在GPU和Raspberry Pi硬件上评估推理时间，优化实时推理性能，重点聚焦于Tiny YOLOv4在边缘设备上的部署。
• 开发了支持实时视频与图像输入的图形用户界面（GUI），具备可调节置信度阈值和多阶段输出可视化功能。
• 在每类车辆100张图像的专用测试集上进行端到端评估，以评估系统在真实收费站条件下的整体识别准确率。

实验结果

研究问题

• RQ1 在具有复杂视觉差异的真实世界巴基斯坦车辆多样化数据集上，最先进目标检测与识别模型的性能如何？
• RQ2 YOLO架构及其轻量化变体在边缘设备上的收费应用中，其准确率与推理速度表现如何比较？
• RQ3 类内差异、非统一的车牌位置以及遮挡在真实收费场景中对识别准确率的影响有多大？
• RQ4 三阶段深度学习流水线能否在实时视频流上实现高精度端到端识别，并适用于低成本硬件的部署？
• RQ5 在非标准车牌格式地区，与基于RFID的系统相比，所提出的框架在准确率、成本和部署可行性方面表现如何？

主要发现

• YOLOv4在DVLPD数据集上对车辆类型识别的mAP达到最高值98.8%，车牌检测为98.5%，字符识别为98.3%。
• Tiny YOLOv4在车辆识别任务中mAP为97.1%，车牌检测为97.4%，字符识别为93.7%，在计算成本降低的情况下仍表现出强劲性能。
• 在Raspberry Pi上，完整YOLOv4流水线每张图像耗时约18.6秒（7.1 + 6.5 + 5.0秒），而Tiny YOLOv4将推理时间缩短至2.45秒（0.95 + 0.8 + 0.7秒）。
• 端到端识别准确率在汽车（99%）和厢型车（98%）中最高，卡车因装饰复杂和非标准车牌格式导致性能较低（96–97%）。
• 所提出的框架在Raspberry Pi上实现了实时推理能力，Tiny YOLOv4可在每张图像3秒内完成完整流水线，适用于现场收费站部署。
• 多样化车辆与车牌数据集（DVLPD）及训练代码已公开发布于 https://github.com/usama-x930/VT-LPR，以支持未来研究。