[论文解读] Adversarial Generation of Training Examples for Vehicle License Plate Recognition.

Xinlong Wang, Mingyu You+1 more|arXiv (Cornell University)|Jul 11, 2017

Vehicle License Plate Recognition参考文献 22被引用 8

一句话总结

本文提出一种基于生成对抗网络（GAN）的流水线，用于生成合成车牌图像以训练深度学习模型，结合了 GAN 生成器与 DCNN-BRNN-LSTM 架构。该方法在使用中等规模真实数据的情况下，相较于强基线模型，识别准确率提升了 7.5%，并引入了一种轻量级卷积循环神经网络，可在移动设备和嵌入式设备上实现高效推理。

ABSTRACT

Generative Adversarial Networks (GAN) have attracted much research attention recently, leading to impressive results for natural image generation. However, to date little success was observed in using GAN generated images for improving classification tasks. Here we attempt to explore, in the context of car license plate recognition, whether it is possible to generate synthetic training data using GAN to improve recognition accuracy. With a carefully-designed pipeline, we show that the answer is affirmative. First, a large-scale image set is generated using the generator of GAN, without manual annotation. Then, these images are fed to a deep convolutional neural network (DCNN) followed by a bidirectional recurrent neural network (BRNN) with long short-term memory (LSTM), which performs the feature learning and sequence labelling. Finally, the pre-trained model is fine-tuned on real images. Our experimental results on a few data sets demonstrate the effectiveness of using GAN images: an improvement of 7.5% over a strong baseline with moderate-sized real data being available. We show that the proposed framework achieves competitive recognition accuracy on challenging test datasets. We also leverage the depthwise separate convolution to construct a lightweight convolutional RNN, which is about half size and 2x faster on CPU. Combining this framework and the proposed pipeline, we make progress in performing accurate recognition on mobile and embedded devices.

研究动机与目标

• 探究基于 GAN 生成的合成图像是否能够提升车辆车牌识别性能。
• 通过生成大规模、多样化的合成数据，解决车牌识别任务中真实世界训练数据有限的挑战。
• 开发一种适用于移动设备和嵌入式设备部署的轻量级深度学习架构。
• 证明在基于 GAN 的预训练之后，对预训练模型进行微调，可在真实世界测试集中实现更优的识别准确率。

提出的方法

• 训练一个生成对抗网络（GAN），以无需人工标注的方式生成大规模、逼真的合成车牌图像。
• 利用生成的图像对由深度卷积神经网络（DCNN）后接双向长短期记忆循环神经网络（BRNN-LSTM）组成的深度神经网络进行预训练，用于序列标注任务。
• 在较小规模的真实车牌图像集合上对预训练模型进行微调，以适应真实世界中的变化。
• 采用深度可分离卷积结构构建轻量级卷积循环神经网络，使模型大小减少一半，并在 CPU 上将推理速度提升一倍。
• 将 GAN 生成的数据与端到端学习相结合，提升模型在具有挑战性的测试集上的鲁棒性与泛化能力。
• 在多个数据集上评估该流水线，以验证性能提升与效率改进。

实验结果

研究问题

• RQ1 基于 GAN 生成的合成训练数据是否能够提升车辆车牌识别模型的准确率？
• RQ2 将 GAN 生成的数据与 DCNN-BRNN-LSTM 架构结合，在处理基于序列的识别任务时效果如何？
• RQ3 在 GAN 预训练后对真实数据进行微调，能在多大程度上提升模型在真实世界测试集上的性能？
• RQ4 轻量级卷积循环神经网络架构是否能在减少模型大小和推理时间的同时保持高准确率，适用于移动设备部署？

主要发现

• 当可用中等规模的真实训练数据时，所提出的基于 GAN 的数据生成流水线相较于强基线模型，识别准确率提升了 7.5%。
• 该模型在具有挑战性的测试数据集上表现出具有竞争力的性能，展现出对真实世界变化的鲁棒性。
• 通过集成深度可分离卷积，模型大小减少了约 50%，同时在 CPU 上实现了两倍的推理速度。
• 在真实图像上对 GAN 预训练模型进行微调，显著提升了模型的泛化能力与识别性能。
• 该框架实现了适用于移动设备和嵌入式设备部署的高精度、高效率车牌识别。
• 基于 GAN 生成的合成数据在低数据场景下对下游分类任务具有显著提升效果。