[논문 리뷰] Mobile Phone Based Vehicle License Plate Recognition for Road Policing

V. L. Lajish, Sunil Kumar Kopparapu|arXiv (Cornell University)|2015. 04. 07.

Vehicle License Plate Recognition참고 문헌 9인용 수 8

한 줄 요약

이 논문은 인도 도로 환경에 맞게 최적화된 모바일 폰 기반 클라이언트-서버 아키텍처를 제안한다. 실시간 차량 번호판 인식을 위해 현장에서 이미지를 촬영하고 서버 측에서 적응형 전처리, 연결 성분 분석, 템플릿 매칭을 활용하여 저해상도 모바일 이미지에서도 강력한 인식 성능을 달성한다. 이로 인해 교통 경찰의 24시간 실시간 차량 정보 검색이 가능해진다.

ABSTRACT

Identity of a vehicle is done through the vehicle license plate by traffic police in general. Au- tomatic vehicle license plate recognition has several applications in intelligent traffic management systems. The security situation across the globe and particularly in India demands a need to equip the traffic police with a system that enables them to get instant details of a vehicle. The system should be easy to use, should be mobile, and work 24 x 7. In this paper, we describe a mobile phone based, client-server architected, license plate recognition system. While we use the state of the art image processing and pattern recognition algorithms tuned for Indian conditions to automatically recognize non-uniform license plates, the main contribution is in creating an end to end usable solution. The client application runs on a mobile device and a server application, with access to vehicle information database, is hosted centrally. The solution enables capture of license plate image captured by the phone camera and passes to the server; on the server the license plate number is recognized; the data associated with the number plate is then sent back to the mobile device, instantaneously. We describe the end to end system architecture in detail. A working prototype of the proposed system has been implemented in the lab environment.

연구 동기 및 목표

• 도로에서 즉각적으로 차량 정보를 검색할 수 있도록 교통 경찰이 24시간 내내 접근 가능한 모바일 기반 번호판 인식 시스템을 개발하는 것.
• 낮은 조도, 기울어진 번호판, 다중 라인 형식, 저해상도 모바일 이미지 등 인도 도로 환경에서의 도전 과제를 해결하는 것.
• 모바일 촬영, 서버 측 인식, 데이터베이스 통합을 포함하는 종단간 사용 가능한 솔루션을 구축하여 실시간 차량 정보 검색을 가능하게 하는 것.
• 법 집행 기관이 도난당한 차량을 식별하고, 교통 규칙을 집행하며 현장에서 차량 허가를 확인할 수 있도록 하는 것.

제안 방법

• 시스템은 스마트폰 카메라를 통해 번호판 이미지를 촬영하고 HTTP를 통해 중앙 집중식 서버로 전송하는 모바일 클라이언트 애플리케이션을 사용한다.
• 서버 측에서는 회색조 변환과 소벨 에지 검출을 적용하여 번호판 국소화를 위한 수직 에지 맵을 추출한다.
• 에지 맵의 행별 분산을 계산하여 번호판 영역을 식별하고, 높은 분산을 보이는 행을 선택한 후 오츠의 임계처리를 통해 이진화를 수행한다.
• 연결 성분 분석을 통해 문자 분할을 수행하며, 외곽형 비율, 공간적 위치, 크기 제약 조건 기반의 후처리를 통해 비문자 성분을 제거한다.
• 분할된 문자들은 애핀 변환과 양선형 보간을 사용하여 정규화되어 인식 엔진에 일관된 입력을 제공한다.
• 문자 인식은 영문 대문자와 아라비아 숫자의 기준 데이터베이스와 상관 계수 비교를 통해 수행되는 템플릿 매칭 방식을 사용한다.

실험 결과

연구 질문

• RQ1 다양한 인도 도로 조건(낮은 조도, 저해상도 이미지 포함)에서도 모바일 폰 기반 시스템이 신뢰할 만한 번호판 인식 성능을 달성할 수 있는가?
• RQ2 행별 분산 기반 에지 분석을 활용한 제안된 번호판 국소화 방법이 기울어진, 다중 라인 또는 비균일한 번호판을 다룰 때 얼마나 효과적인가?
• RQ3 형태학적 연산과 연결 성분 필터링의 조합이 실제 모바일 이미지에서 문자 분할 정확도를 얼마나 향상시키는가?
• RQ4 인도 번호판에서 흔히 볼 수 있는 다양한 방향성과 포맷 스타일에 대해 템플릿 매칭 방식의 성능은 어떠한가?

주요 결과

• 실제 도로에서 촬영한 871장의 이미지에 대해 시스템은 기울임과 다중 라인 형식이 있는 경우에도 번호판 영역을 성공적으로 국소화했다.
• 수직 에지 맵의 행별 분산 기반 국소화 알고리즘이 조도 변화, 그림자, 배경의 복잡성에 대해 강건함을 입증했다.
• 외곽형 비율, 면적, 공간 일관성 기반 규칙 기반 필터링을 적용한 연결 성분 기반 문자 분할이 유효한 문자를 효과적으로 분리하고 로고 및 노이즈를 거부했다.
• 정규화된 문자에 대해 상관 계수 비교를 활용한 템플릿 매칭이 폰트나 방향의 변형에도 불구하고 높은 인식 정확도를 달성했다.
• 전체 시스템은 빠른 실시간 성능을 보이며, 성공적인 인식 후 중앙 집중식 데이터베이스를 통해 즉각적인 차량 정보 검색이 가능했다.
• 프로토타입은 실험실 환경에서 검증되었으며, 인도 도시 전역의 실제 교통 경찰 운영 환경에 도입될 잠재력이 높게 평가되었다.