[论文解读] Mobile Phone Based Vehicle License Plate Recognition for Road Policing

V. L. Lajish, Sunil Kumar Kopparapu|arXiv (Cornell University)|Apr 7, 2015

Vehicle License Plate Recognition参考文献 9被引用 8

一句话总结

本文提出了一种基于智能手机的客户端-服务器架构，用于在印度道路条件下实现实时车辆牌照识别。通过设备端图像捕获和服务器端自适应预处理、连通域分析及模板匹配的图像处理，该系统在低分辨率手机图像上实现了鲁棒的识别效果，支持全天候24小时即时获取车辆信息，适用于交通执法应用。

ABSTRACT

Identity of a vehicle is done through the vehicle license plate by traffic police in general. Au- tomatic vehicle license plate recognition has several applications in intelligent traffic management systems. The security situation across the globe and particularly in India demands a need to equip the traffic police with a system that enables them to get instant details of a vehicle. The system should be easy to use, should be mobile, and work 24 x 7. In this paper, we describe a mobile phone based, client-server architected, license plate recognition system. While we use the state of the art image processing and pattern recognition algorithms tuned for Indian conditions to automatically recognize non-uniform license plates, the main contribution is in creating an end to end usable solution. The client application runs on a mobile device and a server application, with access to vehicle information database, is hosted centrally. The solution enables capture of license plate image captured by the phone camera and passes to the server; on the server the license plate number is recognized; the data associated with the number plate is then sent back to the mobile device, instantaneously. We describe the end to end system architecture in detail. A working prototype of the proposed system has been implemented in the lab environment.

研究动机与目标

• 开发一种可移动、全天候可访问的车牌识别系统，供交通警察在道路上即时获取车辆信息。
• 解决印度道路条件下存在的挑战，如照明不足、牌照倾斜、多行格式以及低分辨率手机图像。
• 构建端到端、可实际使用的解决方案，集成移动设备图像采集、服务器端识别及数据库集成，实现实时车辆信息检索。
• 使执法部门能够即时识别被盗车辆、执行交通规则并现场核查车辆授权信息。

提出的方法

• 系统使用移动客户端应用程序通过手机摄像头捕获车牌图像，并经由HTTP协议将图像传输至集中式服务器。
• 在服务器端，对图像进行灰度化处理，并应用Sobel边缘检测以提取垂直边缘图，用于定位牌照区域。
• 通过计算边缘图的行方向方差来识别牌照区域，选择方差较高的行，随后采用Otsu阈值化方法进行二值化处理。
• 利用连通域分析进行字符分割，并通过基于宽高比、空间位置和尺寸约束的后处理方法，剔除非字符区域。
• 通过仿射变换和双线性插值对分割出的字符进行归一化，以确保输入识别引擎的一致性。
• 通过将字符与英文大写字母和阿拉伯数字的参考数据库进行互相关系数比较，实现模板匹配方式的字符识别。

实验结果

研究问题

• RQ1 基于智能手机的系统是否能在印度多变的道路条件下（包括照明不足和低分辨率图像）实现可靠的车牌识别？
• RQ2 所提出的基于方差分析的边缘图方法在处理倾斜、多行或非均匀牌照时的有效性如何？
• RQ3 形态学操作与连通域滤波相结合，在真实世界手机图像上对字符分割准确性的提升程度如何？
• RQ4 模板匹配方法在识别印度车牌典型方向变化和格式多样性下的字符时表现如何？

主要发现

• 系统在871张真实道路条件下使用手机拍摄的图像中成功定位了车牌区域，涵盖倾斜和多行格式等多种复杂情况。
• 基于垂直边缘图行方向方差的车牌定位算法对光照变化、阴影和背景复杂性表现出良好的鲁棒性。
• 结合规则过滤（宽高比、面积、空间一致性）的连通域字符分割方法，有效分离出有效字符，同时成功排除了标志和噪声。
• 采用互相关系数比较的模板匹配方法在归一化字符上实现了高识别准确率，即使在字体和方向存在差异的情况下亦表现良好。
• 整体系统表现出快速、实时的性能，成功识别后可立即通过集中式数据库检索到车辆信息。
• 该原型在实验室环境中得到验证，展现出在印度各大城市真实交通执法场景中部署的强劲潜力。