[논문 리뷰] Reading Car License Plates Using Deep Convolutional Neural Networks and LSTMs

Hui Li, Chunhua Shen|arXiv (Cornell University)|2016. 01. 21.

Vehicle License Plate Recognition참고 문헌 18인용 수 177

한 줄 요약

이 논문은 자연 풍경에서 차량 번호판을 탐지하기 위한 cascade CNN 기반 시스템과 두 가지 인식 방법을 제안한다: 세그먼트 기반 CNN과 BRNN-LSTM-CTC를 이용한 세그먼트 자유 시퀀스 라벨링 방식으로, 높은 정확도를 달성한다.

ABSTRACT

In this work, we tackle the problem of car license plate detection and recognition in natural scene images. Inspired by the success of deep neural networks (DNNs) in various vision applications, here we leverage DNNs to learn high-level features in a cascade framework, which lead to improved performance on both detection and recognition. Firstly, we train a $37$-class convolutional neural network (CNN) to detect all characters in an image, which results in a high recall, compared with conventional approaches such as training a binary text/non-text classifier. False positives are then eliminated by the second plate/non-plate CNN classifier. Bounding box refinement is then carried out based on the edge information of the license plates, in order to improve the intersection-over-union (IoU) ratio. The proposed cascade framework extracts license plates effectively with both high recall and precision. Last, we propose to recognize the license characters as a {sequence labelling} problem. A recurrent neural network (RNN) with long short-term memory (LSTM) is trained to recognize the sequential features extracted from the whole license plate via CNNs. The main advantage of this approach is that it is segmentation free. By exploring context information and avoiding errors caused by segmentation, the RNN method performs better than a baseline method of combining segmentation and deep CNN classification; and achieves state-of-the-art recognition accuracy.

연구 동기 및 목표

• 노이즈 많은 자연 이미지에서 번호판을 탐지하기 위한 cascade CNN 프레임워크를 개발하여 높은 재현율과 정밀도를 달성한다.
• BRNN-LSTM-CTC를 이용한 세그먼트 기반 CNN 방법과 세그먼트 자유 시퀀스 라벨링 접근법을 제안하여 인식을 개선한다.
• 데이터 확장과 CNN 입력에 로컬 이진 패턴(Local Binary Patterns, LBP)을 도입하여 강인성을 향상시킨다.
• 에지 기반 특징을 사용하여 번호판 경계 상자를 정제하고 IoU를 향상시키며 거짓 긍정을 줄인다.

제안 방법

• 다중 스케일에서 탐지를 위한 텍스트 관심도 맵을 생성하기 위해 4-layer, 37-class 문자 CNN을 학습한다.
• 오류 양성 제거 및 번호판 검증을 위해 두 번째 4-layer의 plate/non-plate CNN을 사용한다.
• 에지 기반 투사로 번호판 위치를 촘촘하게 하기 위해 경계 상자를 정제한다.
• LBP 강화 입력을 갖는 9-layer CNN을 개발하여 분할된 전통적인 OCR 유사 파이프라인에서 문자 인식을 수행한다.
• 다중 수준 CNN 특징을 256-D 시퀀스로 연결하고 BRNN-LSTM-CTC를 적용해 번호판 문자열을 해독하는 세그먼트 자유 인식 방법을 제안한다.
• 사전 학습된 9-layer CNN이 번호판 전체에 걸쳐 슬라이딩 윈도우 특징을 추출하고 BRNN-LSTM-CTC 디코딩을 수행하는 시퀀스 라벨링 파이프라인을 개발한다.

실험 결과

연구 질문

• RQ1 다단계 CNN 캐스케이드가 어수선한 자연 풍경에서 높은 재현율과 정밀도로 번호판을 탐지할 수 있는가?
• RQ2 BRNN-LSTM-CTC를 이용한 세그먼트 자유 시퀀스 라벨링 방식이 번호판인식에서 세그먼트 기반 인식을 능가하는가?
• RQ3 CNN 입력에 Local Binary Pattern(LBP) 특징을 도입하는 것이 인식 정확도를 향상시키는가?
• RQ4 에지 기반 경계 상자 정제가 IoU를 개선하고 거짓 긍정을 줄이는 데 얼마나 효과적인가?

주요 결과

• cascade 프레임워크는 자연 풍경에서 번호판 탐지에 대해 높은 재현율과 정밀도를 달성한다.
• LBP 특징을 가진 9-layer CNN 기반 인식기가 문자 분류 성능을 향상시킨다.
• 세그먼트 자유 BRNN-LSTM-CTC 방식은 문자 분리 없이 전체 번호판을 효과적으로 읽어 최첨단 인식 정확도를 달성한다.
• 에지 정보를 이용한 경계 상자 정제는 로컬라이제이션 품질(IoU)을 향상시키고 잘못된 번호판 크롭을 줄인다.
• 실험에서 두 인식 방식(세그먼트 기반 및 시퀀스 라벨링)을 평가하고 전체 LPDR 성능 향상에 서로 보완적임을 보여준다.