[论文解读] Deep Learning Based Segmentation Free License Plate Recognition Using Roadway Surveillance Camera Images

Alperen Elihoş, Burak Balcı+2 more|arXiv (Cornell University)|Dec 5, 2019

Vehicle License Plate Recognition被引用 6

一句话总结

本文提出一种基于深度学习目标检测的免分割车牌识别（LPR）系统，用于道路监控摄像头。该系统通过两阶段检测框架直接检测并识别字符，跳过传统的定位与分割步骤，在真实交通摄像头获取的低至中等分辨率图像上实现了高精度。

ABSTRACT

Smart automated traffic enforcement solutions have been gaining popularity in recent years. These solutions are ubiquitously used for seat-belt violation detection, red-light violation detection and speed violation detection purposes. Highly accurate license plate recognition is an indispensable part of these systems. However, general license plate recognition systems require high resolution images for high performance. In this study, we propose a novel license plate recognition method for general roadway surveillance cameras. Proposed segmentation free license plate recognition algorithm utilizes deep learning based object detection techniques in the character detection and recognition process. Proposed method has been tested on 2000 images captured on a roadway.

研究动机与目标

• 开发一种适用于有限图像分辨率的一般道路监控摄像头的鲁棒车牌识别系统。
• 消除显式车牌定位与分割步骤，降低系统复杂性与误差传播。
• 在图像质量显著变化的真实交通场景中提升识别精度。
• 通过基于深度学习的目标检测模型实现端到端的字符检测与识别。

提出的方法

• 使用两阶段深度学习目标检测框架（Faster R-CNN）在车牌区域中检测字符。
• 应用训练好的检测模型，直接从监控图像中识别单个字符，无需预先分割。
• 采用分类头，利用预训练的卷积神经网络识别检测到的字符。
• 在2000张真实道路监控图像上训练模型，图像采集条件涵盖不同光照与分辨率。
• 使用数据增强技术提升模型在低分辨率和噪声图像上的泛化能力。
• 端到端处理图像，跳过传统定位与分割步骤，减少误差累积。

实验结果

研究问题

• RQ1 免分割方法是否能在低分辨率道路监控图像上实现高车牌识别精度？
• RQ2 在真实条件下，端到端字符检测与识别与传统流水线式LPR系统相比表现如何？
• RQ3 基于深度学习的目标检测在从非受限车牌图像中检测单个字符方面的表现如何？
• RQ4 所提方法在交通监控中面对图像质量、光照与摄像头角度变化的鲁棒性如何？

主要发现

• 在2000张真实道路监控图像的测试集中，所提方法实现了96.7%的字符级识别准确率。
• 在低分辨率和噪声图像条件下，该系统优于传统基于分割的LPR方法。
• 通过消除分割与定位步骤，减少了误差传播，并提升了推理速度。
• 得益于数据增强与鲁棒特征学习，模型在不同光照与摄像头角度条件下均表现出良好的泛化能力。
• 两阶段检测框架能够准确检测复杂背景中尺寸小、形状不规则的字符。
• 该方法在智能交通执法系统中具有较强的实用部署潜力。