[논문 리뷰] Recognizing License Plates in Real-Time

Xuewen Yang, Xin Wang|arXiv (Cornell University)|2019. 06. 11.

Vehicle License Plate Recognition참고 문헌 26인용 수 5

한 줄 요약

이 논문은 윤곽 재구축을 통한 강인한 번호판 위치 지정, 가짜 테두리 제거를 위한 제로-원-교대 방법, 그리고 데이터 증강, SIFT 특징, 전이 학습을 통합한 하이브리드 CNN 모델을 결합한 실시간 번호판 검출 및 인식(LPDR) 시스템을 제안한다. 이 시스템은 최신 기술 수준의 정확도와 속도를 달성하여 AOLP 데이터셋에서 95 FPS를 처리하면서도 93.5%의 인식률을 유지한다.

ABSTRACT

License plate detection and recognition (LPDR) is of growing importance for enabling intelligent transportation and ensuring the security and safety of the cities. However, LPDR faces a big challenge in a practical environment. The license plates can have extremely diverse sizes, fonts and colors, and the plate images are usually of poor quality caused by skewed capturing angles, uneven lighting, occlusion, and blurring. In applications such as surveillance, it often requires fast processing. To enable real-time and accurate license plate recognition, in this work, we propose a set of techniques: 1) a contour reconstruction method along with edge-detection to quickly detect the candidate plates; 2) a simple zero-one-alternation scheme to effectively remove the fake top and bottom borders around plates to facilitate more accurate segmentation of characters on plates; 3) a set of techniques to augment the training data, incorporate SIFT features into the CNN network, and exploit transfer learning to obtain the initial parameters for more effective training; and 4) a two-phase verification procedure to determine the correct plate at low cost, a statistical filtering in the plate detection stage to quickly remove unwanted candidates, and the accurate CR results after the CR process to perform further plate verification without additional processing. We implement a complete LPDR system based on our algorithms. The experimental results demonstrate that our system can accurately recognize license plate in real-time. Additionally, it works robustly under various levels of illumination and noise, and in the presence of car movement. Compared to peer schemes, our system is not only among the most accurate ones but is also the fastest, and can be easily applied to other scenarios.

연구 동기 및 목표

• 어두운 조명, 운동 왜곡, 다양한 번호판 외형 등 다양한 조건 하에서 실시간으로 정확한 번호판 인식을 달성하고자 한다.
• 다양한 번호판 유형에 대한 제한된 훈련 데이터로 인해 CNN 기반 문자 인식에서 과적합을 줄이고자 한다.
• 노이즈 및 가짜 테두리 제거를 통해 후보 번호판을 정제하여 검출의 강인성을 향상시키고자 한다.
• 중복 계산을 방지하기 위해 이중 단계 검증 시스템을 도입하여 처리 오버헤드를 최소화하고자 한다.
• 이동 중인 차량과 같은 동적 환경에서 정확도를 희생시키지 않고 고속 성능을 달성하고자 한다.

제안 방법

• 부분적 또는 왜곡된 윤곽이 존재하는 상황에서도 에지 검출을 활용한 윤곽 재구축 방법을 제안하여 번호판을 정확하게 국소화한다.
• 검출된 번호판 주변의 가짜 상단 및 하단 테두리를 제거하기 위해 제로-원-교대 방식을 도입하여 문자 분할 정확도를 향상시킨다.
• 데이터 증강, SIFT 특징 벡터, 전이 학습을 통합한 하이브리드-CNN 모델을 설계하여 일반화 능력을 향상시키고 과적합을 감소시킨다.
• 사전 훈련된 ImageNet 가중치로 CNN을 초기화한 후 맞춤형 번호판 문자 데이터로 미세 조정함으로써 전이 학습을 구현한다.
• 이중 단계 검증을 구현한다: 검출 단계에서 통계적 필터링을 통해 가짜 양성(false positive)을 선별하고, LPR 후처리 단계에서 정확한 문자 인식 결과를 활용해 올바른 번호판을 확인한다.
• 효율적인 알고리즘 설계와 중복 처리를 최소화함으로써 전체 LPDR 파이프라인을 실시간 성능 최적화한다.

실험 결과

연구 질문

• RQ1 빈약한 이미지 품질을 가진 실세계 조건에서도 윤곽 재구축과 에지 기반 검출이 빠르고 정확한 번호판 국소화를 달성할 수 있는가?
• RQ2 제로-원-교대 방법이 가짜 테두리를 효과적으로 제거하고 문자 분할 정확도를 향상시키는 데 얼마나 효과적인가?
• RQ3 데이터 증강, SIFT 특징, 전이 학습이 번호판에 기반한 CNN 기반 문자 인식에서 과적합을 어느 정도 감소시키는가?
• RQ4 이중 단계 검증 시스템은 추가적인 검증 단계가 필요 없도록 하면서도 처리 오버헤드를 추가로 증가시키지 않고 정확도를 향상시킬 수 있는가?
• RQ5 이러한 시스템은 이동 중인 차량과 변동하는 조명 조건을 포함한 실시간 시나리오에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 시스템은 AOLP 데이터셋에서 95 FPS를 달성하여 비교된 모든 방법들 중에서 가장 빠른 성능을 보였다.
• AOLP Subset AC에서 시스템은 93.5%의 인식률을 기록하여 정확도와 속도 모두에서 모든 다른 방법을 능가했다.
• 하이브리드-CNN 모델은 36개 문자에 대해 96.4%의 분류 정확도를 달성했으며, 기본 CNN(84.8%)과 SIFT-CNN(91.8%)에 비해 뚜렷한 향상이 있었다.
• 운동 왜곡이 있는 LongIsland 데이터셋에서 시스템은 검출 정밀도 84.3%와 재현율 82.7%를 유지했으며, EC-LDA보다 두 지표에서 모두 뛰어나고 빠르게 동작했다.
• 이중 단계 검증은 초기 단계에서 가짜 양성을 걸러내고 LPR 후처리 단계에서 추가 검증 단계가 필요 없도록 하여 처리 오버헤드를 감소시켰다.
• 다양한 조명, 노이즈, 운동 왜곡 조건에서도 뛰어난 강인성을 보였으며, 다른 시스템이 심각하게 성능 저하를 보이는 상황에서도 높은 정확도를 유지했다.