[논문 리뷰] Adversarial Generation of Training Examples for Vehicle License Plate Recognition.

Xinlong Wang, Mingyu You외 1명|arXiv (Cornell University)|2017. 07. 11.

Vehicle License Plate Recognition참고 문헌 22인용 수 8

한 줄 요약

이 논문은 깊이 학습 모델을 훈련하기 위해 합성 번호판 이미지를 생성하기 위한 GAN 기반 파이프라인을 제안한다. 이는 GAN 생성기와 DCNN-BRNN-LSTM 아키텍처를 결합한 것으로, 중간 크기의 실제 데이터를 사용할 때 강력한 베이스라인 대비 인식 정확도를 7.5% 향상시킨다. 또한 이동 및 임베디드 장치에서 효율적인 추론을 가능하게 하는 경량화된 컨볼루션 RNN을 도입한다.

ABSTRACT

Generative Adversarial Networks (GAN) have attracted much research attention recently, leading to impressive results for natural image generation. However, to date little success was observed in using GAN generated images for improving classification tasks. Here we attempt to explore, in the context of car license plate recognition, whether it is possible to generate synthetic training data using GAN to improve recognition accuracy. With a carefully-designed pipeline, we show that the answer is affirmative. First, a large-scale image set is generated using the generator of GAN, without manual annotation. Then, these images are fed to a deep convolutional neural network (DCNN) followed by a bidirectional recurrent neural network (BRNN) with long short-term memory (LSTM), which performs the feature learning and sequence labelling. Finally, the pre-trained model is fine-tuned on real images. Our experimental results on a few data sets demonstrate the effectiveness of using GAN images: an improvement of 7.5% over a strong baseline with moderate-sized real data being available. We show that the proposed framework achieves competitive recognition accuracy on challenging test datasets. We also leverage the depthwise separate convolution to construct a lightweight convolutional RNN, which is about half size and 2x faster on CPU. Combining this framework and the proposed pipeline, we make progress in performing accurate recognition on mobile and embedded devices.

연구 동기 및 목표

• 합성 이미지가 생성된 GAN이 차량 번호판 인식 성능을 향상시킬 수 있는지 조사하는 것.
• 실제로 수집된 훈련 데이터의 제한성 문제를 해결하기 위해 대규모이고 다양한 합성 데이터를 생성함으로써 번호판 인식을 위한 훈련 자료를 확보하는 것.
• 이동 및 임베디드 장치에 배포 가능한 경량화된 딥 러닝 아키텍처를 개발하는 것.
• GAN 기반 사전 훈련 후에 실재 이미지로 미세조정을 수행할 경우 인식 정확도가 향상됨을 보여주는 것.

제안 방법

• 수동 레이블링 없이 대규모이고 현실적인 합성 번호판 이미지를 생성하기 위해 GAN이 훈련된다.
• 생성된 이미지를 사용하여 깊이 컨볼루션 신경망(DCNN)과 장기 단기 기억(LSTM)을 갖춘 이중성 순환 신경망(BRNN)을 조합한 순서 레이블링을 위한 딥 신경망을 사전 훈련한다.
• 실제 번호판 이미지의 소규모 데이터셋으로 사전 훈련된 모델을 미세조정하여 실제 환경의 변형에 적응시킨다.
• 깊이 분리형 컨볼루션 기반 아키텍처를 사용하여 경량화된 컨볼루션 RNN을 구축함으로써 모델 크기를 절반으로 줄이고 CPU에서 추론 속도를 두 배로 높인다.
• GAN 기반 합성 데이터와 엔드 투 엔드 학습을 통합하여 도전적인 테스트 세트에서의 강인성과 일반화 능력을 향상시킨다.
• 성능 향상과 효율성 향상을 검증하기 위해 여러 데이터셋에서 파이프라인의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 GAN 기반으로 생성된 합성 훈련 데이터가 차량 번호판 인식 모델의 정확도를 향상시킬 수 있는가?
• RQ2 GAN 기반 합성 데이터와 DCNN-BRNN-LSTM 아키텍처의 조합이 순서 기반 인식 작업을 처리하는 데 얼마나 효과적인가?
• RQ3 GAN 사전 훈련 후 실재 이미지로의 미세조정이 실제 환경 테스트 세트에서 모델 성능을 얼마나 향상시키는가?
• RQ4 경량화된 컨볼루션 RNN 아키텍처는 모델 크기와 추론 시간을 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 GAN 기반 데이터 생성 파이프라인은 중간 크기의 실제 훈련 데이터가 존재할 경우 강력한 베이스라인 대비 인식 정확도를 7.5% 향상시킨다.
• 어려운 테스트 데이터셋에서 경쟁적인 성능를 기록하며 실제 환경의 변형에 강인함을 입증한다.
• 깊이 분리형 컨볼루션의 통합은 모델 크기를 약 50% 감소시키면서 CPU에서 추론 속도를 두 배로 높인다.
• GAN 사전 훈련된 모델을 실재 이미지로 미세조정하면 일반화 능력과 인식 성능가 뚜렷하게 향상된다.
• 이 프레임워크는 이동 및 임베디드 장치에 배포 가능한 정확하고 효율적인 번호판 인식을 가능하게 한다.
• GAN를 통해 생성된 합성 데이터의 사용은 데이터가 적은 환경에서의 후속 분류 작업 향상에 효과적임을 입증한다.