[논문 리뷰] Segmentation-free Vehicle License Plate Recognition using ConvNet-RNN

Teik Koon Cheang, Yong Shean Chong외 1명|arXiv (Cornell University)|2017. 01. 23.

Vehicle License Plate Recognition참고 문헌 12인용 수 51

한 줄 요약

세분화 없이 VLPR 접근법으로 ConvNet으로 특징 추출하고 RNN으로 시퀀스 모델링하여 전체 번호판 이미지를 엔드투엔드로 처리하고 슬라이딩 윈도우 방법보다 우수함.

ABSTRACT

While vehicle license plate recognition (VLPR) is usually done with a sliding window approach, it can have limited performance on datasets with characters that are of variable width. This can be solved by hand-crafting algorithms to prescale the characters. While this approach can work fairly well, the recognizer is only aware of the pixels within each detector window, and fails to account for other contextual information that might be present in other parts of the image. A sliding window approach also requires training data in the form of presegmented characters, which can be more difficult to obtain. In this paper, we propose a unified ConvNet-RNN model to recognize real-world captured license plate photographs. By using a Convolutional Neural Network (ConvNet) to perform feature extraction and using a Recurrent Neural Network (RNN) for sequencing, we address the problem of sliding window approaches being unable to access the context of the entire image by feeding the entire image as input to the ConvNet. This has the added benefit of being able to perform end-to-end training of the entire model on labelled, full license plate images. Experimental results comparing the ConvNet-RNN architecture to a sliding window-based approach shows that the ConvNet-RNN architecture performs significantly better.

연구 동기 및 목표

• 현실 세계의 데이터셋에서 글자 너비가 가변적인 VLPR을 동기화합니다.
• 전처리된 글자에 의존하는 슬라이딩 윈도우 접근법의 한계를 극복합니다.
• 전체 이미지를 입력으로 사용하는 엔드투엔드 ConvNet-RNN 아키텍처를 제안합니다.

제안 방법

• 전체 번호판 이미지에서 특성을 추출하기 위해 합성곱 신경망(ConvNet)을 사용합니다.
• 추출된 특성에 대해 시퀀스 모델링을 수행하기 위해 순환 신경망(RNN)을 사용합니다.
• 전체 번호판 이미지에 라벨이 있는 데이터를 사용하여 ConvNet-RNN 모델의 엔드투엔드 학습이 가능하도록 합니다.
• 사전에 분리된 글자나 수작업으로 전처리된 글자 스케일링에 의존하지 않습니다.

실험 결과

연구 질문

• RQ1 사전 분리된 구성 요소 없이 ConvNet-RNN이 번호판 글자를 인식할 수 있습니까?
• RQ2 맥락 정보를 가진 전체 이미지를 처리하는 것이 슬라이딩 윈도우 탐지기보다 인식을 향상시키나요?
• RQ3 현실 세계의 번호판 사진에 대해 세분화 없이 VLPR의 엔드투엔드 학습이 가능합니까?

주요 결과

• ConvNet-RNN 아키텍처가 전체 번호판 이미지를 처리하여 엔드투엔드 학습을 가능하게 합니다.
• 연구에 사용된 데이터에서 슬라이딩 윈도우 방식과 비교하여 ConvNet-RNN의 성능이 현저히 더 좋습니다.
• 전체 이미지의 맥락 정보를 활용하는 것이 전통적 방법보다 인식 결과를 향상시킵니다.