[论文解读] Bridging the Gap: Enhancing the Utility of Synthetic Data via Post-Processing Techniques

A. Lampis, Eugenio Lomurno+1 more|arXiv (Cornell University)|May 17, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本论文提出了一种后处理流水线——Gap Filler (GaFi)，通过在生成对抗网络（GANs）中应用动态样本过滤、动态数据集循环利用和扩展技巧，提升了合成数据在图像分类任务中的实用性。GaFi在Fashion-MNIST、CIFAR-10和CIFAR-100上的分类准确率差距分别缩小至2.03%、1.78%和3.99%，在分类准确率得分（CAS）方面创下新的最先进水平。

ABSTRACT

Acquiring and annotating suitable datasets for training deep learning models is challenging. This often results in tedious and time-consuming efforts that can hinder research progress. However, generative models have emerged as a promising solution for generating synthetic datasets that can replace or augment real-world data. Despite this, the effectiveness of synthetic data is limited by their inability to fully capture the complexity and diversity of real-world data. To address this issue, we explore the use of Generative Adversarial Networks to generate synthetic datasets for training classifiers that are subsequently evaluated on real-world images. To improve the quality and diversity of the synthetic dataset, we propose three novel post-processing techniques: Dynamic Sample Filtering, Dynamic Dataset Recycle, and Expansion Trick. In addition, we introduce a pipeline called Gap Filler (GaFi), which applies these techniques in an optimal and coordinated manner to maximise classification accuracy on real-world data. Our experiments show that GaFi effectively reduces the gap with real-accuracy scores to an error of 2.03%, 1.78%, and 3.99% on the Fashion-MNIST, CIFAR-10, and CIFAR-100 datasets, respectively. These results represent a new state of the art in Classification Accuracy Score and highlight the effectiveness of post-processing techniques in improving the quality of synthetic datasets.

研究动机与目标

• 解决尽管生成样本具有高感知质量，但基于合成数据训练的分类器与基于真实数据训练的分类器之间仍存在持续性能差距的问题。
• 克服即使使用最先进GAN模型，由于分布差异和多样性不足导致的合成数据实用性限制。
• 开发一种与模型无关的后处理流水线，在不修改生成模型架构或训练过程的前提下提升合成数据质量。
• 通过协调的后处理技术优化合成数据，最大化在真实世界测试集上的分类准确率得分（CAS）。
• 证明后处理可将实用性差距缩小至接近真实数据性能，使合成数据在下游任务中可作为真实数据的可行替代方案。

提出的方法

• 提出动态样本过滤：使用预训练的真实数据分类器过滤低置信度的合成样本，提升标签一致性和数据质量。
• 引入动态数据集循环利用：在过滤后的合成数据上迭代微调生成器，并使用真实分类器重新评估，实现对合成数据集的渐进式优化。
• 开发扩展技巧：通过潜在空间插值生成额外样本，增加数据分布的多样性与覆盖范围。
• 设计GaFi流水线作为集成三类技术的协同工作流，通过自适应超参数和循环间隔以最大化CAS。
• 将该流水线应用于BigGAN-Deep生成的数据，在Fashion-MNIST、CIFAR-10和CIFAR-100上进行实验，采用与先前工作一致的评估协议以确保公平比较。
• 通过消融研究优化流水线超参数，包括过滤阈值和循环频率，以实现最优CAS性能。

Figure 1: Overview of the Gap Filler (GaFi) pipeline.

实验结果

研究问题

• RQ1 在使用GAN生成图像时，后处理技术能在多大程度上缩小合成数据与真实数据之间的分类准确率差距？
• RQ2 动态样本过滤、动态数据集循环利用和扩展技巧在单独及协同作用下，如何提升合成数据集在下游分类任务中的实用性？
• RQ3 一种与模型无关的后处理流水线是否能在不修改生成模型架构或训练过程的前提下，实现最先进水平的CAS性能？
• RQ4 在过滤阈值、循环频率和数据增强方面，后处理技术的最优配置为何，才能最大化CAS？
• RQ5 GaFi流水线是否能使合成数据在分类任务中接近甚至超越真实数据性能？

主要发现

• GaFi流水线在Fashion-MNIST、CIFAR-10和CIFAR-100上的合成数据与真实数据之间的准确率差距分别缩小至2.03%、1.78%和3.99%，在分类准确率得分（CAS）方面创下新的最先进水平。
• 扩展技巧通过提升数据多样性显著改善CAS，尤其在与动态样本过滤结合时效果最为显著。
• 即使仅使用一个生成器，GaFi实现的CAS也高于此前最先进方法，后者需使用六个生成器才能达到类似性能。
• 与未使用后处理的合成基线（BigGAN-Deep）相比，GaFi使Fashion-MNIST的CAS提升5.33%，CIFAR-10提升6.09%，CIFAR-100提升14.21%。
• 最终CAS结果在Fashion-MNIST达到94.03%，CIFAR-10达到93.20%，CIFAR-100达到71.95%，与真实数据准确率相差不足2%，表明其性能已接近真实数据训练水平。
• 动态样本过滤与动态数据集循环利用的结合显著提升了CAS性能，且跨运行的标准差降低，表明模型稳定性与泛化能力得到增强。

Figure 2: The results of the CAS metric obtained using the Expansion Trick technique. The plots compare unfiltered and filtered datasets (filtering threshold: 0.0).