[논문 리뷰] Vehicle and License Plate Recognition with Novel Dataset for Toll Collection

Muhammad Usama, Hafeez Anwar외 2명|arXiv (Cornell University)|2022. 02. 11.

Vehicle License Plate Recognition인용 수 10

한 줄 요약

이 논문은 10,000장의 파키스탄 차량 이미지를 포함한 새로운 데이터셋(DVLPD)을 활용하여 차량 종류 인식, 번호판 검출, 문자 인식을 위한 세 단계의 딥러닝 프레임워크를 제안한다. YOLOv4는 차량 인식에서 mAP 98.8%, 번호판 검출에서 98.5%, 문자 판독에서 98.3%의 최고 성능을 기록했으며, Tiny YOLOv4를 통해 라즈베리 파이에서 1장당 0.95초의 실시간 추론이 가능했다.

ABSTRACT

We propose an automatic framework for toll collection, consisting of three steps: vehicle type recognition, license plate localization, and reading. However, each of the three steps becomes non-trivial due to image variations caused by several factors. The traditional vehicle decorations on the front cause variations among vehicles of the same type. These decorations make license plate localization and recognition difficult due to severe background clutter and partial occlusions. Likewise, on most vehicles, specifically trucks, the position of the license plate is not consistent. Lastly, for license plate reading, the variations are induced by non-uniform font styles, sizes, and partially occluded letters and numbers. Our proposed framework takes advantage of both data availability and performance evaluation of the backbone deep learning architectures. We gather a novel dataset, \emph{Diverse Vehicle and License Plates Dataset (DVLPD)}, consisting of 10k images belonging to six vehicle types. Each image is then manually annotated for vehicle type, license plate, and its characters and digits. For each of the three tasks, we evaluate You Only Look Once (YOLO)v2, YOLOv3, YOLOv4, and FasterRCNN. For real-time implementation on a Raspberry Pi, we evaluate the lighter versions of YOLO named Tiny YOLOv3 and Tiny YOLOv4. The best Mean Average Precision (mAP@0.5) of 98.8% for vehicle type recognition, 98.5% for license plate detection, and 98.3% for license plate reading is achieved by YOLOv4, while its lighter version, i.e., Tiny YOLOv4 obtained a mAP of 97.1%, 97.4%, and 93.7% on vehicle type recognition, license plate detection, and license plate reading, respectively. The dataset and the training codes are available at https://github.com/usama-x930/VT-LPR

연구 동기 및 목표

• 실제 파키스탄 도로 교통 환경에서 차량 내부의 다양성, 비균일한 번호판 위치, 이미지 열악한 조건 등으로 인해 발생하는 자동 통행료 징수 과제를 해결하기 위해.
• RFID 인프라에 의존하지 않는 내구성 있고 종단 간 이미지 기반의 차량 및 번호판 인식 시스템을 개발하기 위해.
• 파키스탄 차량에 특화된 새로운 다각도 데이터셋을 바탕으로 최신 객체 검출 및 인식 모델(YOLOv2–v4, FasterRCNN, Tiny YOLO)의 성능을 평가하기 위해.
• 실제 통행료 정류장 응용을 위해 저비용 하드웨어(예: 라즈베리 파이)에 실시간 배포가 가능한 시스템을 개발하기 위해.
• 미래의 연구를 지원하기 위해 공개된 데이터셋과 코드베이스를 제공하기 위해.

제안 방법

• 6종의 차량 유형을 포함하는 총 10,000장의 이미지로 구성된 다각도 차량 및 번호판 데이터셋(DVLPD)을 수집하고 수동으로 애너테이션 처리하여 차량 종류, 번호판 위치, 문자/숫자 콘텐츠를 기록하였다.
• 세 단계 파이프라인 설계: Vehicle-Net(차량 검출 및 분류), LP-Net(번호판 지역화), CR-Net(문자 및 숫자 인식).
• mAP@0.5를 주요 평가 지표로 사용하여 YOLOv2, YOLOv3, YOLOv4, FasterRCNN 및 경량 버전(Tiny YOLOv3, Tiny YOLOv4)을 모두 세 가지 작업에 대해 훈련 및 평가하였다.
• 라즈베리 파이와 같은 하드웨어에서 실시간 추론을 위해 최적화하기 위해 GPU 및 라즈베리 파이에서의 추론 시간을 평가하였으며, 엣지 배포를 위해 Tiny YOLOv4에 중점을 두었다.
• 유연한 신뢰도 임계값과 다단계 출력 시각화를 지원하는 그래픽 사용자 인터페이스(GUI)를 개발하여 실시간 영상 및 이미지 입력을 처리할 수 있도록 하였다.
• 실제 통행료 정류장 환경에서의 시스템 수준 정확도를 평가하기 위해 각 차량 유형별 100장의 전용 테스트 세트를 활용해 종단 간 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 복잡한 시각적 변형을 포함한 실제 도로 환경에서의 파키스탄 차량에 대한 다각도적이고 실제적인 데이터셋에서 최신 객체 검출 및 인식 모델의 성능은 어떠한가?
• RQ2 에지 장치에서 통행료 징수 응용을 위해 YOLO 기반 아키텍처와 그 경량 버전 간 정확도 및 추론 속도에서의 비교는 어떠한가?
• RQ3 차량 내부의 다양성, 비균일한 번호판 위치, 가림 현상 등이 실제 통행료 징수 상황에서 인식 정확도에 얼마나 큰 영향을 미치는가?
• RQ4 세 단계 딥러닝 파이프라인은 저비용 하드웨어에 배포 가능한 실시간 영상 스트림에서 높은 종단 간 인식 정확도를 달성할 수 있는가?
• RQ5 비표준 번호판 형식을 가진 지역에서 RFID 기반 시스템과 비교해 본다면, 제안된 프레임워크는 정확도, 비용, 구현 가능성 측면에서 어떤가?

주요 결과

• YOLOv4는 DVLPD 데이터셋에서 차량 종류 인식에서 mAP 98.8%, 번호판 검출에서 98.5%, 문자 인식에서 98.3%의 최고 성능을 기록했다.
• Tiny YOLOv4는 차량 인식에서 mAP 97.1%, 번호판 검출에서 97.4%, 문자 인식에서 93.7%의 성능을 기록하여 계산 비용을 줄였음에도 강력한 성능을 보였다.
• 라즈베리 파이에서 전체 YOLOv4 파이프라인은 1장당 약 18.6초(7.1 + 6.5 + 5.0초)가 소요되었고, Tiny YOLOv4는 추론 시간을 2.45초(0.95 + 0.8 + 0.7초)로 단축시켰다.
• 종단 간 인식 정확도는 승용차(99%)와 밴(98%)에서 가장 높았으며, 트럭의 경우 무거운 장식과 비표준 번호판 형식으로 인해 성능이 낮게 나타났다(96–97%).
• 제안된 프레임워크는 라즈베리 파이에서 실시간 추론 기능을 확보하였으며, Tiny YOLOv4는 1장당 3초 이내에 전체 파이프라인을 완료하여 실시간 통행료 정류장 배포에 적합한 성능을 보였다.
• 다양도 있는 차량 및 번호판 데이터셋(DVLPD)과 훈련 코드는 https://github.com/usama-x930/VT-LPR 에 공개되어 향후 연구를 지원한다.