[论文解读] LatentAugment: Data Augmentation via Guided Manipulation of GAN's Latent Space

Lorenzo Tronchin, Minh H. Vu+2 more|arXiv (Cornell University)|Jul 21, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用 3

一句话总结

LatentAugment 提出了一种基于 GAN 的数据增强方法，通过在生成器潜在空间中引导操纵潜在向量，提升了数据的多样性与保真度。该方法在 MRI 到 CT 图像转换等下游任务中表现出更优的泛化能力，相较于标准数据增强和标准 GAN 采样，在多样性与模式覆盖方面均有提升，同时保持了高速推理。

ABSTRACT

Data Augmentation (DA) is a technique to increase the quantity and diversity of the training data, and by that alleviate overfitting and improve generalisation. However, standard DA produces synthetic data for augmentation with limited diversity. Generative Adversarial Networks (GANs) may unlock additional information in a dataset by generating synthetic samples having the appearance of real images. However, these models struggle to simultaneously address three key requirements: fidelity and high-quality samples; diversity and mode coverage; and fast sampling. Indeed, GANs generate high-quality samples rapidly, but have poor mode coverage, limiting their adoption in DA applications. We propose LatentAugment, a DA strategy that overcomes the low diversity of GANs, opening up for use in DA applications. Without external supervision, LatentAugment modifies latent vectors and moves them into latent space regions to maximise the synthetic images' diversity and fidelity. It is also agnostic to the dataset and the downstream task. A wide set of experiments shows that LatentAugment improves the generalisation of a deep model translating from MRI-to-CT beating both standard DA as well GAN-based sampling. Moreover, still in comparison with GAN-based sampling, LatentAugment synthetic samples show superior mode coverage and diversity. Code is available at: https://github.com/ltronchin/LatentAugment.

研究动机与目标

• 为解决基于 GAN 的数据增强中多样性不足的问题，该问题限制了其在低数据场景下的应用。
• 在不牺牲采样速度的前提下，提升 GAN 生成图像的模式覆盖度与样本保真度。
• 开发一种与任务无关、高效的增强策略，适用于不同数据集和下游任务。
• 通过聚焦于潜在空间导航，解决生成学习三重困境——保真度、多样性与速度。
• 实现高质量、多样化的合成数据生成，使其对底层数据分布的捕捉优于标准增强或简单 GAN 采样。

提出的方法

• 该方法从真实图像的潜在码出发，通过基于梯度的优化，引导其向潜在空间中能最大化多样性与保真度的区域移动。
• 利用感知与空间多样性度量来引导优化过程，确保生成图像在语义内容与风格保持不变的前提下实现有意义的差异。
• 通过预训练的 Inception 分数或 Fréchet Inception 距离（FID）代理指标强制保证保真度，同时利用判别器得分最大化真实感。
• 该方法完全在潜在空间中运行，相比图像空间操作显著降低了计算成本。
• 其对 GAN 架构与下游任务均无依赖，具备广泛适用性。
• 该方法无需外部监督或领域特定的增强策略，仅依赖于潜在空间优化。

Figure 1 : Intuition. Considering $\mathcal{X}$ and $\mathcal{W}$ as the data and latent space distributions, respectively. In panel (a), we denote with blue stars the encoded real images. Panel (b). The standard SG2 DA procedure does not provide any guide to the generation process. Thus random late

实验结果

研究问题

• RQ1 在 GAN 中通过引导潜在空间操作，能否显著提升用于数据增强的合成数据的多样性与模式覆盖？
• RQ2 所提出的方法在下游模型泛化性能方面是否优于标准数据增强与标准 GAN 采样？
• RQ3 该方法能否在不增加推理时间的前提下，保持高保真度、逼真的样本并实现更优的多样性？
• RQ4 该方法是否在无需任务特定调优的情况下，对不同数据集与下游任务均表现出鲁棒性与有效性？
• RQ5 与扩散模型相比，该方法在数据增强任务中的生成速度与质量表现如何？

主要发现

• LatentAugment 在 MRI 到 CT 图像转换任务中提升了深度学习模型的泛化性能，优于标准数据增强与标准 GAN 采样方法。
• 与标准 GAN 采样相比，该方法实现了更高的精确率与召回率，表明其在生成样本的模式覆盖与多样性方面表现更优。
• LatentAugment 生成的图像在真实图像基础上呈现出更平滑、更逼真的变化，保留了主要结构与纹理特征，同时引入了有意义的多样性。
• 该方法保持了高速推理，吞吐量与标准 GAN 采样相当，显著快于扩散模型。
• 相较于标准 GAN 采样，LatentAugment 减少了分布外样本的生成，提升了数据质量与分布内覆盖度。
• 该方法无需领域知识或任务特定调优即可有效运行，展现出在不同数据集与任务间的广泛适用性。

Figure 2 : High-level schematic representation of LatentAugment policy (dashed rectangle). It first retrieves the latent code $w^{*}$ of the image $x$ we aim to augment. Then for each iteration $k$ of the procedure, we manipulate $w^{k}$ minimising the loss $\mathcal{L}(w^{k})$ , which is given by a