[论文解读] Data augmentation with Symbolic-to-Real Image Translation GANs for Traffic Sign Recognition

Nour Soufi, Matías Valdenegro-Toro|arXiv (Cornell University)|Jul 17, 2019

Handwritten Text Recognition Techniques参考文献 14被引用 6

一句话总结

本文提出使用条件生成对抗网络（pix2pix）进行符号到真实图像的转换，以增强交通标志数据集，使圆形标志的分类准确率从92.1%提升至94.0%（提升1.9%），三角形标志从93.8%提升至95.3%（提升1.5%）。尽管取得了一定增益，但传统增强技术如对比度变化和位移变换的表现更优，分别达到95.5%和96.7%的准确率，表明在该领域中，GAN并非普遍优于传统方法的增强手段。

ABSTRACT

Traffic sign recognition is an important component of many advanced driving assistance systems, and it is required for full autonomous driving. Computational performance is usually the bottleneck in using large scale neural networks for this purpose. SqueezeNet is a good candidate for efficient image classification of traffic signs, but in our experiments it does not reach high accuracy, and we believe this is due to lack of data, requiring data augmentation. Generative adversarial networks can learn the high dimensional distribution of empirical data, allowing the generation of new data points. In this paper we apply pix2pix GANs architecture to generate new traffic sign images and evaluate the use of these images in data augmentation. We were motivated to use pix2pix to translate symbolic sign images to real ones due to the mode collapse in Conditional GANs. Through our experiments we found that data augmentation using GAN can increase classification accuracy for circular traffic signs from 92.1% to 94.0%, and for triangular traffic signs from 93.8% to 95.3%, producing an overall improvement of 2%. However some traditional augmentation techniques can outperform GAN data augmentation, for example contrast variation in circular traffic signs (95.5%) and displacement on triangular traffic signs (96.7 %). Our negative results shows that while GANs can be naively used for data augmentation, they are not always the best choice, depending on the problem and variability in the data.

研究动机与目标

• 为解决因训练数据不足导致SqueezeNet在交通标志识别中分类准确率低下的问题。
• 探索生成对抗网络（GAN）作为交通标志图像数据增强方法的可行性。
• 通过使用pix2pix实现从符号到真实图像的转换，以克服条件GAN中的模式崩溃问题。
• 从分类性能角度，比较基于GAN的增强与传统数据增强技术的差异。
• 评估GAN生成的图像是否能有效提升模型在真实世界交通标志数据集上的泛化能力。

提出的方法

• 将pix2pix GAN架构适配用于从基于矢量的符号化交通标志表示到逼真真实图像的图像到图像转换。
• 训练一个条件GAN，其中生成器学习将符号化输入图像映射为逼真输出，判别器则用于区分真实图像与生成图像。
• 采用PatchGAN判别器，通过评估局部图像块来提升纹理和细节的生成质量。
• 将生成的图像作为SqueezeNet基交通标志分类模型的增强训练数据。
• 调整超参数，包括编码器/解码器的层数以及生成器和判别器的训练迭代次数。
• 使用标准指标评估性能：在圆形和三角形交通标志子集上的准确率和平衡准确率。

实验结果

研究问题

• RQ1 pix2pix GAN能否有效从符号化表示生成逼真的交通标志图像以用于数据增强？
• RQ2 与基线和传统增强方法相比，基于GAN的数据增强是否能提升SqueezeNet在交通标志识别任务中的分类准确率？
• RQ3 基于GAN的增强方法与对比度变化和位移等成熟数据增强技术相比，性能如何？
• RQ4 为何在本项特定任务中，传统增强方法优于基于GAN的增强方法？
• RQ5 当训练数据变异度较低时，使用条件GAN进行数据增强存在哪些局限性？

主要发现

• 基于GAN的数据增强使圆形交通标志的分类准确率从92.1%提升至94.0%，提高了1.9个百分点。
• 对于三角形交通标志，准确率从93.8%提升至95.3%，提升了1.5个百分点。
• 传统对比度变化增强在圆形标志上达到95.5%的准确率，优于基于GAN的方法。
• 位移增强在三角形标志上达到96.7%的准确率，显著超过基于GAN的95.3%。
• 研究表明，GAN并非在所有情况下都是数据增强的最优选择，尤其当更简单传统的增强方法表现更优时。
• 尽管图像转换成功，但生成图像的泛化能力仍不如人工设计的增强方法，表明GAN在建模复杂真实世界数据变异方面存在局限。