[论文解读] Exploration of an End-to-End Automatic Number-plate Recognition neural network for Indian datasets

Sai Sirisha Nadiminti, Praveen Kumar Gaur+1 more|arXiv (Cornell University)|Jul 14, 2022

Vehicle License Plate Recognition被引用 4

一句话总结

本文提出了一种针对印度车辆号牌设计的端到端（E2E）自动车牌识别（ANPR）系统，该类号牌在尺寸、字体、文字和形状方面具有高度可变性。利用新整理的1,500张图像数据集，并对基于中文的E2E架构进行调整，作者在完成领域特定定制后，检测准确率提升了42.86%，尽管使用了相同的训练数据，其样本效率仍优于微调后的YOLOv5。

ABSTRACT

Indian vehicle number plates have wide variety in terms of size, font, script and shape. Development of Automatic Number Plate Recognition (ANPR) solutions is therefore challenging, necessitating a diverse dataset to serve as a collection of examples. However, a comprehensive dataset of Indian scenario is missing, thereby, hampering the progress towards publicly available and reproducible ANPR solutions. Many countries have invested efforts to develop comprehensive ANPR datasets like Chinese City Parking Dataset (CCPD) for China and Application-oriented License Plate (AOLP) dataset for US. In this work, we release an expanding dataset presently consisting of 1.5k images and a scalable and reproducible procedure of enhancing this dataset towards development of ANPR solution for Indian conditions. We have leveraged this dataset to explore an End-to-End (E2E) ANPR architecture for Indian scenario which was originally proposed for Chinese Vehicle number-plate recognition based on the CCPD dataset. As we customized the architecture for our dataset, we came across insights, which we have discussed in this paper. We report the hindrances in direct reusability of the model provided by the authors of CCPD because of the extreme diversity in Indian number plates and differences in distribution with respect to the CCPD dataset. An improvement of 42.86% was observed in LP detection after aligning the characteristics of Indian dataset with Chinese dataset. In this work, we have also compared the performance of the E2E number-plate detection model with YOLOv5 model, pre-trained on COCO dataset and fine-tuned on Indian vehicle images. Given that the number Indian vehicle images used for fine-tuning the detection module and yolov5 were same, we concluded that it is more sample efficient to develop an ANPR solution for Indian conditions based on COCO dataset rather than CCPD dataset.

研究动机与目标

• 为解决缺乏全面且公开可用的印度车辆号牌数据集的问题，该问题阻碍了可复现的ANPR研究。
• 将原本为中文号牌（CCPD）设计的现有端到端ANPR架构，适配至印度号牌的多样化特征。
• 评估经调整的E2E模型与在印度车辆图像上微调的YOLOv5检测器之间的可迁移性与性能表现。
• 证明在印度ANPR任务中，使用COCO预训练模型进行微调比使用基于CCPD的模型更具样本效率。
• 发布一个可扩展、可扩展的数据集和可复现的流程，以支持未来印度语境下的ANPR开发。

提出的方法

• 作者收集并整理了1,500张具有多样化号牌特征（包括尺寸、字体、文字和形状差异）的印度车辆图像数据集。
• 将原本为中文CCPD数据集开发的端到端ANPR架构，调整以匹配印度号牌的分布特性。
• 通过数据增强和领域对齐技术对模型进行微调，使其匹配印度号牌的视觉与结构特征。
• 通过将E2E模型与在COCO上预训练并在相同印度图像集上微调的YOLOv5检测器进行比较，评估其性能。
• 设计了可扩展且可复现的训练流程，以支持未来数据集和模型的扩展。
• 分析了CCPD数据集与印度数据集之间的分布差异，以解释原始模型在直接迁移时表现不佳的原因。

实验结果

研究问题

• RQ1 尽管存在显著的视觉与结构差异，能否有效将基于中文号牌训练的端到端ANPR模型适配至印度号牌？
• RQ2 领域特定的数据对齐在多大程度上提升了对印度号牌的检测性能？
• RQ3 当在印度车辆图像上进行微调时，COCO预训练的YOLOv5检测器与基于CCPD的模型相比，其样本效率如何？
• RQ4 由于数据集分布的偏移，重用现有ANPR模型在印度环境下面临哪些主要挑战？
• RQ5 是否可以通过一个可扩展、公开可用的印度号牌数据集，实现更可复现且鲁棒的ANPR开发？

主要发现

• 在将印度数据集的特征与中文CCPD数据集对齐后，号牌检测准确率提升了42.86%。
• 尽管使用了相同的训练数据，经调整的端到端ANPR模型在检测性能上仍优于微调后的YOLOv5检测器。
• 研究发现，原始基于CCPD的模型因字体、文字、尺寸和形状的显著分布差异，无法直接用于印度号牌。
• 微调COCO预训练的YOLOv5模型在样本效率上优于依赖基于CCPD模型的印度ANPR任务。
• 作者成功发布了包含1,500张印度车辆图像的可扩展、可扩展数据集，为未来印度语境下的可复现ANPR研究奠定了基础。
• 本研究强调了在高可变性环境（如印度）中，进行领域特定的数据整理与架构适配对于实现高效ANPR的重要性。