[논문 리뷰] Exploration of an End-to-End Automatic Number-plate Recognition neural network for Indian datasets

Sai Sirisha Nadiminti, Praveen Kumar Gaur외 1명|arXiv (Cornell University)|2022. 07. 14.

Vehicle License Plate Recognition인용 수 4

한 줄 요약

이 논문은 크기, 폰트, 문자 체계, 형태 면에서 높은 변동성을 보이는 인도 차량 번호판을 위해 특화된 엔드 투 엔드(E2E) 자동 번호판 인식(ANPR) 시스템을 제안한다. 새로 구축한 1,500장의 이미지 데이터셋과 중국 기반 E2E 아키텍처를 활용하여 도메인 특화 커스터마이제이션을 거친 후, 검출 정확도가 42.86% 향상되었으며, 동일한 학습 데이터를 사용함에도 불구하고 미세조정된 YOLOv5를 능가하는 샘플 효율성을 확보하였다.

ABSTRACT

Indian vehicle number plates have wide variety in terms of size, font, script and shape. Development of Automatic Number Plate Recognition (ANPR) solutions is therefore challenging, necessitating a diverse dataset to serve as a collection of examples. However, a comprehensive dataset of Indian scenario is missing, thereby, hampering the progress towards publicly available and reproducible ANPR solutions. Many countries have invested efforts to develop comprehensive ANPR datasets like Chinese City Parking Dataset (CCPD) for China and Application-oriented License Plate (AOLP) dataset for US. In this work, we release an expanding dataset presently consisting of 1.5k images and a scalable and reproducible procedure of enhancing this dataset towards development of ANPR solution for Indian conditions. We have leveraged this dataset to explore an End-to-End (E2E) ANPR architecture for Indian scenario which was originally proposed for Chinese Vehicle number-plate recognition based on the CCPD dataset. As we customized the architecture for our dataset, we came across insights, which we have discussed in this paper. We report the hindrances in direct reusability of the model provided by the authors of CCPD because of the extreme diversity in Indian number plates and differences in distribution with respect to the CCPD dataset. An improvement of 42.86% was observed in LP detection after aligning the characteristics of Indian dataset with Chinese dataset. In this work, we have also compared the performance of the E2E number-plate detection model with YOLOv5 model, pre-trained on COCO dataset and fine-tuned on Indian vehicle images. Given that the number Indian vehicle images used for fine-tuning the detection module and yolov5 were same, we concluded that it is more sample efficient to develop an ANPR solution for Indian conditions based on COCO dataset rather than CCPD dataset.

연구 동기 및 목표

• 인도 차량 번호판에 대한 종합적이고 공개 가능한 데이터셋의 부족으로 인해 재현 가능한 ANPR 연구가 저해되고 있다는 문제를 해결하기 위해.
• 기존의 중국 번호판을 대상으로 설계된 엔드 투 엔드 ANPR 아키텍처(원래 CCPD 기반)를 인도 번호판의 다양한 특성에 맞게 적응시키기 위해.
• 인도 차량 이미지에서 적응된 E2E 모델의 성능과 동일한 학습 데이터를 사용한 YOLOv5 검출기의 성능을 비교 평가하기 위해.
• COCO 사전학습 모델을 기반으로 학습하는 것이 인도 ANPR 작업에서 CCPD 기반 모델에 비해 더 높은 샘플 효율성을 보이는지 확인하기 위해.
• 향후 인도 환경에서의 ANPR 개발을 위한 확장 가능한 데이터셋과 재현 가능한 파이프라인을 공개하기 위해.

제안 방법

• 저자들은 크기, 폰트, 문자 체계, 형태 면에서 다양성이 높은 번호판 특성을 포함한 1,500장의 인도 차량 이미지 데이터셋을 수집하고 정제하였다.
• 기존에 중국 CCPD 데이터셋을 위해 개발된 엔드 투 엔드 ANPR 아키텍처를 인도 번호판의 분포에 맞게 적응시켰다.
• 인도 번호판의 시각적 및 구조적 특성과 일치시키기 위해 데이터 증강 및 도메인 정렬 기법을 활용해 모델을 미세조정하였다.
• 성능 평가를 위해 COCO에서 사전학습한 YOLOv5 검출기와 동일한 인도 이미지 세트로 미세조정한 결과를 기반으로 E2E 모델과 비교하였다.
• 향후 데이터셋 및 모델의 확장이 가능하도록 확장성 있고 재현 가능한 학습 파이프라인을 설계하였다.
• CCPD 데이터셋과 인도 데이터셋 간의 분포 차이를 분석하여 원래 모델의 직접적 이식성이 낮은 이유를 설명하였다.

실험 결과

연구 질문

• RQ1 크기, 폰트, 문자 체계, 형태 면에서 상당한 시각적·구조적 차이가 존재하는 인도 번호판에 대해 중국 번호판에서 학습된 엔드 투 엔드 ANPR 모델을 효과적으로 적응시킬 수 있는가?
• RQ2 도메인 특화 데이터 정렬이 인도 번호판 검출 성능 향상에 어느 정도 기여하는가?
• RQ3 인도 차량 이미지에 대해 미세조정할 때, COCO 사전학습 모델 기반 YOLOv5 검출기의 샘플 효율성은 CCPD 기반 모델에 비해 얼마나 뛰어나게 되는가?
• RQ4 데이터셋 분포의 변화로 인해 기존 ANPR 모델을 인도 조건에 재사용하는 데 있어 주요 과제는 무엇인가?
• RQ5 확장 가능한 공개 데이터셋을 통해 인도 번호판에 특화된 더 재현 가능하고 강력한 ANPR 개발이 가능해지는가?

주요 결과

• CCPD 데이터셋의 특성과 인도 데이터셋의 특성을 일치시킨 후, 번호판 검출 정확도가 42.86% 향상되었다.
• 동일한 학습 데이터를 사용함에도 불구하고, 적응된 엔드 투 엔드 ANPR 모델이 YOLOv5 검출기의 검출 성능를 뛰어넘었다.
• 원래의 CCPD 기반 모델은 폰트, 문자 체계, 크기, 형태 면에서의 분포 차이로 인해 인도 번호판에 직접적으로 재사용될 수 없음을 발견하였다.
• COCO 사전학습 모델을 기반으로 한 YOLOv5 모델의 미세조정이, 인도 ANPR 작업에서 CCPD 기반 모델에 비해 더 높은 샘플 효율성을 보였다.
• 저자들은 1,500장의 인도 차량 이미지로 구성된 확장 가능한 공개 데이터셋을 성공적으로 공개하였으며, 이는 향후 인도 환경에서의 재현 가능한 ANPR 연구를 위한 기반을 마련하였다.
• 본 연구는 크기, 폰트, 문자 체계, 형태 면에서 높은 변동성이 존재하는 환경(예: 인도)에서 효과적인 ANPR를 구현하기 위해 도메인 특화 데이터 정제 및 아키텍처 적응의 중요성을 강조한다.