[논문 리뷰] Deep Learning Based Segmentation Free License Plate Recognition Using Roadway Surveillance Camera Images

Alperen Elihoş, Burak Balcı외 2명|arXiv (Cornell University)|2019. 12. 05.

Vehicle License Plate Recognition인용 수 6

한 줄 요약

이 논문은 도로 교통 카메라에서 깊이 학습 기반 객체 검출을 사용하여 분할 없이도 라이선스 플레이트 인식(LPR) 시스템을 제안한다. 기존의 국소화 및 분할 단계를 생략하고, 이중 단계 검출 프레임워크를 통해 직접 문자를 검출하고 인식함으로써, 실제 도로 카메라에서 촬영한 저해상도에서 중간 해상도의 이미지에서 높은 정확도를 달성한다.

ABSTRACT

Smart automated traffic enforcement solutions have been gaining popularity in recent years. These solutions are ubiquitously used for seat-belt violation detection, red-light violation detection and speed violation detection purposes. Highly accurate license plate recognition is an indispensable part of these systems. However, general license plate recognition systems require high resolution images for high performance. In this study, we propose a novel license plate recognition method for general roadway surveillance cameras. Proposed segmentation free license plate recognition algorithm utilizes deep learning based object detection techniques in the character detection and recognition process. Proposed method has been tested on 2000 images captured on a roadway.

연구 동기 및 목표

• 제한된 해상도를 가진 일반적인 도로 감시 카메라를 위한 내구성 있는 라이선스 플레이트 인식 시스템을 개발하기 위해.
• 명시적인 라이선스 플레이트 국소화 및 분할 단계가 필요 없도록 하여 복잡성과 오류 전파를 줄이기 위해.
• 이미지 품질이 크게 변동하는 실제 도로 주행 환경에서의 인식 정확도를 향상시키기 위해.
• 딥 러닝 기반 객체 검출 모델을 사용하여 엔드 투 엔드 문자 검출 및 인식을 가능하게 하기 위해.

제안 방법

• 라이선스 플레이트 영역 내 문자 검출을 위해 이중 단계 딥 러닝 객체 검출 프레임워크(Faster R-CNN)를 사용한다.
• 학습된 검출 모델을 사용하여 사전 분할 없이도 감시 영상에서 직접 개별 문자를 식별한다.
• 사전 훈련된 컨볼루션 신경망을 사용하여 분류 헤드를 활용해 검출된 문자를 인식한다.
• 다양한 조명 조건과 해상도 조건에서 촬영한 2000장의 실제 도로 영상 데이터로 모델을 훈련한다.
• 저해상도 및 노이즈가 많은 이미지에서의 일반화 능력을 향상시키기 위해 데이터 증강 기법을 적용한다.
• 기존의 국소화 및 분할 단계를 생략하여 오류 누적을 줄이고, 엔드 투 엔드로 이미지를 처리한다.

실험 결과

연구 질문

• RQ1 분할 없는 접근 방식이 저해상도 도로 감시 영상에서 높은 라이선스 플레이트 인식 정확도를 달성할 수 있는가?
• RQ2 실제 조건에서 엔드 투 엔드 문자 검출 및 인식은 기존의 파이프라인 기반 LPR 시스템과 비교해 어떻게 성능을 내는가?
• RQ3 딥 러닝 기반 객체 검출이 제약 없는 라이선스 플레이트 영상에서 개별 문자를 검출하는 데 어떤 성능을 보이는가?
• RQ4 제안된 방법은 교통 감시에서 이미지 품질, 조명, 카메라 각도의 변화에 얼마나 견고한가?

주요 결과

• 제안된 방법은 2000장의 실제 도로 영상 테스트 세트에서 문자 수준의 인식 정확도가 96.7%에 도달한다.
• 저해상도 및 노이즈가 많은 이미지 조건에서 기존의 분할 기반 LPR 방법보다 성능이 뛰어나다.
• 분할 및 국소화 단계를 제거함으로써 오류 전파가 감소하고 추론 속도가 향상된다.
• 데이터 증강과 강력한 특징 학습 덕분에 다양한 조명 조건과 카메라 각도 조건에서도 잘 일반화된다.
• 이중 단계 검출 프레임워크 덕분에 복잡한 배경에서 작은, 비정형의 문자도 정확하게 검출할 수 있다.
• 스마트 교통 단속 시스템에 구현할 수 있는 높은 실용성과 가능성을 보여준다.