[论文解读] Improving GAN Training via Feature Space Shrinkage

Haozhe Liu, Wentian Zhang+7 more|arXiv (Cornell University)|Mar 2, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出 AdaptiveMix，一种简单而有效的模块，通过在判别器的表征空间中压缩真实图像的特征空间，提升 GAN 训练效果。通过图像混合构建难样本并减小其与易样本的距离，AdaptiveMix 稳定了训练过程并提升了生成图像质量，在多种 GAN 架构上实现了最先进性能，并可泛化至图像分类和分布外（OOD）检测任务。

ABSTRACT

Due to the outstanding capability for data generation, Generative Adversarial Networks (GANs) have attracted considerable attention in unsupervised learning. However, training GANs is difficult, since the training distribution is dynamic for the discriminator, leading to unstable image representation. In this paper, we address the problem of training GANs from a novel perspective, \emph{i.e.,} robust image classification. Motivated by studies on robust image representation, we propose a simple yet effective module, namely AdaptiveMix, for GANs, which shrinks the regions of training data in the image representation space of the discriminator. Considering it is intractable to directly bound feature space, we propose to construct hard samples and narrow down the feature distance between hard and easy samples. The hard samples are constructed by mixing a pair of training images. We evaluate the effectiveness of our AdaptiveMix with widely-used and state-of-the-art GAN architectures. The evaluation results demonstrate that our AdaptiveMix can facilitate the training of GANs and effectively improve the image quality of generated samples. We also show that our AdaptiveMix can be further applied to image classification and Out-Of-Distribution (OOD) detection tasks, by equipping it with state-of-the-art methods. Extensive experiments on seven publicly available datasets show that our method effectively boosts the performance of baselines. The code is publicly available at https://github.com/WentianZhang-ML/AdaptiveMix.

研究动机与目标

• 解决判别器潜在空间中特征表示动态且分散导致的 GAN 训练不稳定性问题。
• 通过显式压缩判别器特征空间中真实训练数据占据的区域，改善 GAN 训练。
• 探究通过样本混合控制特征空间紧凑性是否能提升训练稳定性和生成质量。
• 证明所提方法可泛化至 GAN 之外的任务，如鲁棒图像分类和分布外（OOD）检测。
• 提供一种即插即用的模块，无需架构修改或高计算成本即可增强基线模型。

提出的方法

• AdaptiveMix 通过使用服从 Beta 分布的混合系数，线性混合一对真实训练图像来构建难样本。
• 该方法最小化混合样本与其对应真实图像在判别器特征空间中的 L2 距离。
• 该距离最小化有效压缩了真实数据占据的特征空间，促进了紧凑且鲁棒的表征。
• 该模块具有可微性，可作为即插即用组件无缝集成至现有 GAN 框架中。
• 该方法通过约束特征空间扩展，隐式近似利普希茨连续性，增强判别器鲁棒性。
• AdaptiveMix 在训练过程中应用，结合可学习的噪声项和 Beta 分布参数 α 以控制混合强度。

实验结果

研究问题

• RQ1 在判别器表征空间中压缩真实图像的特征空间，是否能提升 GAN 训练的稳定性和图像质量？
• RQ2 通过图像混合构建难样本并减小其与真实样本的距离，是否能获得更紧凑和鲁棒的特征表征？
• RQ3 AdaptiveMix 是否可泛化至 GAN 之外，以提升图像分类和 OOD 检测任务的性能？
• RQ4 与现有数据增强和正则化技术相比，AdaptiveMix 在性能和效率方面表现如何？
• RQ5 哪些超参数设置（如噪声的 σ、Beta 分布的 α）能在不同数据集和模型上实现最优性能？

主要发现

• 在 CIFAR-100 上，与基线 Manifold Mixup 相比，AdaptiveMix 将 FID 分数提升最高达 17.38%，绝对提升 7%。
• 在 Tiny-ImageNet 上，AdaptiveMix 在干净图像识别任务中实现 3% 的绝对准确率提升（60.59% vs. 57.23%），优于基线。
• 在 OOD 检测任务中，AdaptiveMix 将 '1DS w/o MC' 的 F1 分数从 0.890 提升至 0.922（TIN-C 数据集），在无计算成本的前提下达到 MC 采样方法的性能。
• 最优超参数为 σ = 0.05（噪声）和 α = 1.0（Beta 分布），在所有评估任务中均取得最佳性能。
• AdaptiveMix 在包括 CIFAR-10、CIFAR-100、Tiny-ImageNet 和 ImageNet 在内的七个公开数据集上，持续提升最先进模型在图像生成、分类和 OOD 检测任务中的表现。
• 该方法显著提升了模型的鲁棒性与泛化能力，体现在对损坏数据和分布外数据的性能均有提升。