[논문 리뷰] Towards End-to-End Car License Plates Detection and Recognition with Deep Neural Networks

Hui Li, Peng Wang외 1명|arXiv (Cornell University)|2017. 09. 26.

Vehicle License Plate Recognition참고 문헌 17인용 수 40

한 줄 요약

이 논문은 통합된 합성곱 신경망과 순환 신경망을 사용하여 차량 번호판을 종합적으로 검출하고 인식하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 검출 및 인식 브랜치 간에 특징을 공유하고 전체 네트워크를 엔드 투 엔드로 훈련시킴으로써, 오류 누적을 줄이고 중간 처리 단계를 제거하여 높은 정확도와 효율성을 달성한다.

ABSTRACT

In this work, we tackle the problem of car license plate detection and recognition in natural scene images. We propose a unified deep neural network which can localize license plates and recognize the letters simultaneously in a single forward pass. The whole network can be trained end-to-end. In contrast to existing approaches which take license plate detection and recognition as two separate tasks and settle them step by step, our method jointly solves these two tasks by a single network. It not only avoids intermediate error accumulation, but also accelerates the processing speed. For performance evaluation, three datasets including images captured from various scenes under different conditions are tested. Extensive experiments show the effectiveness and efficiency of our proposed approach.

연구 동기 및 목표

• 오류 전파와 비효율성으로 인해 약점이 드러나는 전통적인 두 단계로 나누어진 번호판 검출 및 인식 파이프라인의 한계를 해결한다.
• 단일 순방향 전파에서 동시에 검출과 인식을 수행하는 통합된 딥 신경망을 개발한다.
• 공유된 특징 학습을 통해 두 작업을 함께 최적화하여 검출 및 인식 정확도를 향상시킨다.
• 번호판 문자 그룹화, 분리, 자르기 등의 히ュ리스틱 후처리 단계를 제거하기 위해 인식 기능을 검출 파이프라인에 직접 통합한다.
• 다양한 촬영 조건에서의 실시간 응용에 적합한 고속 추론 성능을 달성한다.

제안 방법

• 합성곱 신경망(CNN)을 사용한 특징 추출, 영역 제안 네트워크(RPN)를 통한 번호판 후보 생성, 그리고 경계 상자 회귀 및 분류를 위한 다층 퍼셉트론(MLP)을 조합한 통합된 딥 신경망 아키텍처를 설계한다.
• 순차 기반 번호판 인식을 위해 이중 방향 장기 단기 기억(LSTM)(BiLSTM) 네트워크를 통합하여 검출 브랜치의 특징을 직접 처리한다.
• 검출 및 인식 브랜치 간에 동일한 합성곱 특징 맵을 공유함으로써 모델 크기를 줄이고 파rameter 효율성을 향상시킨다.
• 검출 손실(분류 및 경계 상자 회귀)과 인식 손실(시퀀스 간 교차 엔트로피)을 포함하는 병합된 손실 함수를 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• 다양한 스케일에서 안정적인 경계 상자 예측을 위해 척도 불변 이동 및 로그 공간의 높이/너비 이동을 적용한다.
• 중복된 검출을 걸러내기 위해 비최대 억제(NMS)를 적용하지만, 논문은 NMS가 처리 시간의 약 50%를 차지하며 향후 최적화의 대상임을 언급한다.

실험 결과

연구 질문

• RQ1 단일 딥 신경망 내에서 번호판 검출 및 인식을 함께 훈련시키는 것이 별도의 모델보다 전체 성능을 향상시킬 수 있는가?
• RQ2 검출 및 인식 브랜치 간에 합성곱 특징을 공유할 경우 모델의 효율성과 정확도는 어느 정도 향상되는가?
• RQ3 중간 처리 단계 없이 엔드 투 엔드로 훈련시킬 경우, 복잡한 실제 환경에서의 검출 및 인식 정확도는 어떻게 영향을 받는가?
• RQ4 제안된 프레임워크는 다양한 촬영 조건, 예를 들어 다양한 조명, 부분 가림, 시점 변화 등에서도 높은 성능을 유지할 수 있는가?
• RQ5 기존의 두 단계 또는 별도의 모델 대비 통합 프레임워크의 계산 효율성은 어떠한가?

주요 결과

• PKUData 데이터셋에서 공동 훈련된 모델은 평균 검출률 99.80%를 기록하여 이전 최고 성능 방법보다 2% 높은 성능을 달성했다.
• AOLP 데이터셋에서 AC 세트에서는 95.29%의 검출 정확도, LE 세트에서는 96.57%, RP 세트에서는 83.63%를 기록했으며, 각각 99.56%, 99.34%, 98.85%의 인식 정확도를 달성했다.
• 검출 전용 버전의 모델은 PKUData에서 평균 검출률 99.58%를 기록했고, 공동 훈련 버전은 99.80%를 기록하여 인식 감독이 검출 성능 향상에 기여함을 입증했다.
• Titan X GPU에서 이미지당 0.3~0.4초 내로 이미지를 처리하여, Li 등(1000–2000ms)의 이전 방법보다 훨씬 빠른 속도를 기록했다.
• AOLP, PKUData, CarFlag-Large 세 가지 데이터셋에서 모두 최신 기술 대비 뛰어난 성능을 보이며 다양한 번호판 유형과 촬영 조건에 걸쳐 뛰어난 강건성을 입증했다.
• 검출 파이프라인에 인식 기능을 통합함으로써 자르기, 문자 분리 등의 후처리 단계가 줄어들어 추론 파이프라인의 간소화가 이루어졌다.