[论文解读] LPRNet: License Plate Recognition via Deep Neural Networks

S. V. Zherzdev, Alexey Gruzdev|arXiv (Cornell University)|Jun 27, 2018

Vehicle License Plate Recognition参考文献 19被引用 112

一句话总结

LPRNet 引入了一种端到端、无分割的车牌识别系统，使用轻量级 CNN，实时运行，在中国车牌上达到高达 95% 的准确率，且不使用 RNNs。

ABSTRACT

This paper proposes LPRNet - end-to-end method for Automatic License Plate Recognition without preliminary character segmentation. Our approach is inspired by recent breakthroughs in Deep Neural Networks, and works in real-time with recognition accuracy up to 95% for Chinese license plates: 3 ms/plate on nVIDIA GeForce GTX 1080 and 1.3 ms/plate on Intel Core i7-6700K CPU. LPRNet consists of the lightweight Convolutional Neural Network, so it can be trained in end-to-end way. To the best of our knowledge, LPRNet is the first real-time License Plate Recognition system that does not use RNNs. As a result, the LPRNet algorithm may be used to create embedded solutions for LPR that feature high level accuracy even on challenging Chinese license plates.

研究动机与目标

• 推动一种快速、无分割的车牌识别系统，能够对畸变、光照和视角变化具有鲁棒性。
• 开发一个轻量级 CNN 主干网络，能够实现端到端识别且无循环网络。
• 实现带有 CTC 损失的端到端训练，并在多种硬件（CPU、GPU、FPGA）上探索部署。
• 展示在具有挑战性的中国车牌上的鲁棒性，并进行消融研究以分离影响因素。

提出的方法

• 设计一个受到 SqueezeNet 和 Inception 块启发的轻量级 CNN 主干网络，以实现每次前向传播低 GFLOPs。
• 引入 Spatial Transformer Network（可选）以实现输入对齐。
• 使用逐位置字符分类头，产生跨图像宽度的概率序列。
• 使用 CTC 损失进行训练，以处理可变长度、未分割的输出。
• 在解码前加入全局上下文嵌入以提升准确性。
• 在束搜索过程中，使用国家特定模板进行后过滤，以约束输出。

实验结果

研究问题

• RQ1 在不进行前分割的情况下，完全卷积、非 RNN 架构是否能够达到具有竞争力的车牌识别准确性？
• RQ2 全局上下文、数据增强、STN 对齐、束搜索和后过滤对识别准确性有何影响？
• RQ3 LPRNet 在具有挑战性的中国车牌上，在 CPU、GPU 和 FPGA 硬件上的实时性表现如何？

主要发现

• LPRNet 基线在 0.71 GFLOPs 下达到 94.1% 的识别准确率。
• LPRNet 基本版本在 0.34 GFLOPs 下达到 95.0% 的准确率。
• LPRNet reduced 在 0.163 GFLOPs 下达到 94.0% 的准确率。
• 全球上下文增强带来较大准确度提升（相较基线最高提升可达 36 个百分点）。
• 数据增强将准确率提升大约 28.6 个百分点。
• 束搜索结合后过滤额外提升 0.4–0.6 个百分点。
• 网络实时运行：在 GTX 1080 上每块牌 3 ms，在 Intel Core i7-6700K CPU 上每块牌 1.3 ms，在 FPGA 路径上 4 ms。