[논문 리뷰] Adversarial Generation of Training Examples: Applications to Moving Vehicle License Plate Recognition

Xinlong Wang, Zhipeng Man외 2명|arXiv (Cornell University)|2017. 07. 11.

Vehicle License Plate Recognition참고 문헌 40인용 수 37

한 줄 요약

이 논문은 움직이는 차량 번호판 인식(LPR)에서 깊이 학습 모델을 훈련시키기 위해 현실적인 합성 번호판 이미지를 생성하는 데 CycleGAN과 WGAN 훈련을 활용하는 새로운 파이프라인을 제안한다. GAN으로 생성된 이미지에서 경량의 컨volutional-recurrent 신경망(LightCRNN)을 사전 훈련한 후 실제 데이터로 미세 조정함으로써, 제한된 실제 훈련 데이터 조건에서도 강력한 베이스라인 대비 7.5pp의 정확도 향상을 달성하였으며, 모바일 및 임베디드 장치에서 효율적인 추론을 가능하게 한다.

ABSTRACT

Generative Adversarial Networks (GAN) have attracted much research attention recently, leading to impressive results for natural image generation. However, to date little success was observed in using GAN generated images for improving classification tasks. Here we attempt to explore, in the context of car license plate recognition, whether it is possible to generate synthetic training data using GAN to improve recognition accuracy. With a carefully-designed pipeline, we show that the answer is affirmative. First, a large-scale image set is generated using the generator of GAN, without manual annotation. Then, these images are fed to a deep convolutional neural network (DCNN) followed by a bidirectional recurrent neural network (BRNN) with long short-term memory (LSTM), which performs the feature learning and sequence labelling. Finally, the pre-trained model is fine-tuned on real images. Our experimental results on a few data sets demonstrate the effectiveness of using GAN images: an improvement of 7.5% over a strong baseline with moderate-sized real data being available. We show that the proposed framework achieves competitive recognition accuracy on challenging test datasets. We also leverage the depthwise separate convolution to construct a lightweight convolutional RNN, which is about half size and 2x faster on CPU. Combining this framework and the proposed pipeline, we make progress in performing accurate recognition on mobile and embedded devices.

연구 동기 및 목표

• 움직이는 차량 번호판 인식(LPR)에서 깊이 학습 모델을 훈련시키기 위한 레이블이 부여된 실제 세계의 번호판 이미지가 부족한 문제를 해결하기 위해.
• 생성적 적대적 네트워크(GANs)가 실제 인식 작업에서 분류 성능을 향상시키는 데 효과적인 합성 훈련 데이터를 생성할 수 있는지 조사하기 위해.
• 모바일 및 임베디드 장치에 배포하기에 적합한 경량이고 효율적인 신경망 아키텍처를 개발하기 위해.
• 움직이는 카메라, 빠른 운동, 변동하는 조명 조건과 같은 도전적인 조건에서도 높은 정확도의 LPR를 실현하기 위해.
• GAN으로 생성된 이미지가 교육 학습 전략과 조합될 경우 모델의 일반화 능력과 강인성을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 컴퓨터 그래픽스 파이프라인을 통해 정확한 폰트, 색상, 문자 조합을 유지하면서 합성 번호판 이미지를 생성하고, 정확한 참조 레이블을 보존한다.
• 쌍체가 없는 실제-합성 데이터를 사용하여, 사이클 일致성과 WGAN 손실을 활용해 합성 이미지를 사진 수준의 현실적인 이미지로 변환하는 CycleGAN 모델을 훈련시킨다. 이는 이미지 품질 향상에 기여한다.
• 훈련된 GAN 생성기로부터 800만 장의 합성적이고 현실적인 번호판 이미지를 생성하여 데이터 증강에 활용한다.
• 양방향 LSTM을 갖춘 깊이 컨volutional-recurrent 신경망(CRNN)을 GAN으로 생성된 이미지에서 사전 훈련하여 강력한 특징을 학습한다.
• 일반화 능력을 향상시키기 위해, 교육 학습 전략을 사용하여 실제 세계의 훈련 데이터로 사전 훈련된 모델을 미세 조정한다.
• 깊이 분리형 컨볼루션을 사용하여 경량 CRNN(LightCRNN) 아키텍처를 설계함으로써 모델 크기를 43.5% 감소시키고, CPU에서 추론 속도를 2배로 향상시켰다.

실험 결과

연구 질문

• RQ1 GAN으로 생성된 합성 이미지가 움직이는 차량 LPR와 같은 실제 세계에서 데이터가 부족한 인식 작업에서 깊이 학습 모델의 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 WGAN 손실을 사용한 쌍체가 없는 이미지 번역 기반 CycleGAN이, 감독 분류 작업을 위한 효과적인 훈련 데이터로 충분히 현실적인 이미지를 생성할 수 있는가?
• RQ3 GAN으로 생성된 데이터에서 사전 훈련한 후 실제 데이터로 미세 조정할 경우, 인식 정확도와 모델 일반화 능력에 어떤 영향을 미치는가?
• RQ4 깊이 분리형 컨볼루션 기반의 경량 신경망 아키텍처가 모바일 및 임베디드 장치에서 빠른 추론을 가능하게 하면서도 높은 정확도를 유지할 수 있는가?
• RQ5 실제 훈련 데이터가 제한된 조건에서 GAN으로 생성된 데이터가 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 파이프라인이 중간 크기의 실제 데이터가 유일한 조건에서 강력한 베이스라인 대비 7.5个百分点의 정확도 향상을 달성하였다.
• 도전적인 움직이는 LPR 데이터셋(Dataset-3)에서, GAN 데이터 증강 파이프라인 적용 후 인식 정확도가 89.4%에서 92.1%로 향상되었다.
• LightCRNN와 GAN으로 생성된 데이터의 조합은 벤치마크 데이터셋에서 98.6%의 인식 정확도를 달성하여 강력한 일반화 능력을 입증하였다.
• LightCRNN 모델은 모델 크기를 71.4MB에서 40.3MB로 줄였고, CPU에서 추론 속도를 7.2FPS에서 13.9FPS로 향상시켜 엣지 장치에 효율적으로 배포할 수 있도록 하였다.
• 실제 데이터가 부족한 조건에서 GAN으로 생성된 이미지의 사용이 특히 효과적이었으며, 데이터 제한 조건에서 성능 향상 효과가 더욱 두드러졌다.
• 시각화 결과는 GAN으로 생성된 이미지가 실제 번호판의 핵심 시각적 패턴을 잘 반영하고 있음을 확인하였으며, 이는 훈련 데이터로서의 유용성을 뒷받침한다.