[论文解读] License Plate Detection and Recognition Using Deeply Learned Convolutional Neural Networks

Syed Zain Masood, Guang Shu+2 more|arXiv (Cornell University)|Mar 21, 2017

Vehicle License Plate Recognition被引用 87

一句话总结

本文提出一个端到端的车牌检测与识别系统，由序列深度CNN构成，在美国与欧洲基准上比OpenALPR具有更高的准确性。它强调一个对区域、姿态和光照变化鲁棒的统一模型。

ABSTRACT

This work details Sighthounds fully automated license plate detection and recognition system. The core technology of the system is built using a sequence of deep Convolutional Neural Networks (CNNs) interlaced with accurate and efficient algorithms. The CNNs are trained and fine-tuned so that they are robust under different conditions (e.g. variations in pose, lighting, occlusion, etc.) and can work across a variety of license plate templates (e.g. sizes, backgrounds, fonts, etc). For quantitative analysis, we show that our system outperforms the leading license plate detection and recognition technology i.e. ALPR on several benchmarks. Our system is available to developers through the Sighthound Cloud API at https://www.sighthound.com/products/cloud

研究动机与目标

• 使用深度CNN构建用于车牌检测与识别的端到端流水线。
• 收集并标注用于车牌检测和字符识别的大规模数据。
• 训练用于车牌检测、字符检测和字符识别的专用CNN。
• 在美国和欧洲基准上评估系统并与OpenALPR比较。
• 展示对车牌模板和成像条件变化的鲁棒性。

提出的方法

• 收集并整理用于车牌检测与字符识别的数据。
• 训练三种CNN：车牌检测器、字符检测器和字符识别器。
• 使用多步分割过程进行字符分离，随后进行二值筛选以去除非字符。
• 使用35类分类器进行字符识别（0-9 和 A-Z，排除 O）。
• 在基准数据集上使用最佳序列匹配对比真实值进行评估。

实验结果

研究问题

• RQ1 一个基于统一深度CNN的流水线是否能够在没有车牌类型先验的情况下跨不同地区检测并识别车牌？
• RQ2 端到端系统在美国和欧洲数据集上的检测召回率与识别准确度相较于 OpenALPR 如何？
• RQ3 该流水线在光照、姿态、遮挡和跨区域车牌设计变化下是否鲁棒？

主要发现

• 车牌检测召回率：USA 99.09%，Europe 99.64%（Sighthound）相对于 OpenALPR 变体。
• 车牌识别准确率：USA 93.44%（Sighthound）对比 OpenALPR Open Source 78.36% 与 Cloud 84.64%；欧洲 94.55%（Sighthound）对比 OpenALPR Open Source 84.80% 与 Cloud 86.75%。
• 系统在美欧基准上均表现出高准确性，在检测与识别任务上均优于 OpenALPR。
• 该方法使用一个统一模型，不需要车牌类型的指定（USA vs Europe）。
• 定性结果显示对光照、尺寸、模糊、角度和模板变异具有鲁棒性。