[论文解读] Self-Diagnosing GAN: Diagnosing Underrepresented Samples in Generative Adversarial Networks

Jinhee Lee, Haeri Kim+2 more|arXiv (Cornell University)|Feb 24, 2021

Generative Adversarial Networks and Image Synthesis参考文献 50被引用 14

一句话总结

本文提出 Self-Diagnosing GAN，一种通过利用判别器输出统计量诊断样本，以提升生成模型在少数类子群体中生成质量和多样性的方法。该方法引入了两个指标——数据分布与模型分布之间差异的均值和方差，随后在训练过程中采用基于得分的加权采样，优先关注低密度、少数类样本，显著提升了少数群体的覆盖度与保真度，且未以整体质量为代价。

ABSTRACT

Despite remarkable performance in producing realistic samples, Generative Adversarial Networks (GANs) often produce low-quality samples near low-density regions of the data manifold, e.g., samples of minor groups. Many techniques have been developed to improve the quality of generated samples, either by post-processing generated samples or by pre-processing the empirical data distribution, but at the cost of reduced diversity. To promote diversity in sample generation without degrading the overall quality, we propose a simple yet effective method to diagnose and emphasize underrepresented samples during training of a GAN. The main idea is to use the statistics of the discrepancy between the data distribution and the model distribution at each data instance. Based on the observation that the underrepresented samples have a high average discrepancy or high variability in discrepancy, we propose a method to emphasize those samples during training of a GAN. Our experimental results demonstrate that the proposed method improves GAN performance on various datasets, and it is especially effective in improving the quality and diversity of sample generation for minor groups.

研究动机与目标

• 解决 GAN 长期以来在生成少数类或代表性不足的数据子群体时，难以生成高保真度样本的问题。
• 在无需显式标签的情况下，无监督地诊断代表性不足的样本。
• 提升生成质量与多样性，尤其针对数据流形中低密度区域。
• 开发一种轻量级、训练时可用的方法，提升少数群体的覆盖度，且不增加计算开销。
• 提供一种诊断工具，基于判别器在训练各轮次中的行为，识别出问题样本。

提出的方法

• 该方法从判别器输出中计算两个诊断指标：均值差异（数据分布与模型分布之间差异的平均值）和差异的方差（该差异在训练轮次中的波动性）。
• 均值差异可识别出始终远离模型分布的样本，表明可能存在模式崩溃或建模不佳。
• 差异的方差可检测出建模行为不稳定的样本，通常与少数或罕见子群体相关。
• 通过将两个指标的加权和计算为综合得分，对样本按其代表性不足的风险进行排序。
• 在训练过程中，生成器采用加权采样方式更新，其中得分较高（代表性更不足）的样本被赋予更高的采样概率。
• 该方法与 GAN 架构无关，可经少量修改应用于多种 GAN 变体。

实验结果

研究问题

• RQ1 在训练轮次中，判别器差异的均值与方差是否能有效识别 GAN 中代表性不足或少数类样本？
• RQ2 在训练过程中，通过强调高差异得分样本，是否能提升少数群体生成样本的质量与多样性？
• RQ3 该诊断方法是否能在不降低整体样本保真度或增加计算成本的前提下，提升 GAN 性能？
• RQ4 与现有方法（如后处理、数据预处理或混合模型）相比，该方法在少数群体覆盖度方面表现如何？
• RQ5 该方法在不同数据集和少数类比例下，对保真度与多样性指标（如 FID、IS、R、P）的提升程度如何？

主要发现

• 在 99% 主流类占比的 Colored MNIST 数据集上，Dia-GAN 将少数类样本的重建误差从 0.838 降低至 0.224，显著提升了少数类覆盖度。
• 在 99% 主流类占比的 MNIST-FMNIST 数据集上，Dia-GAN 将重建误差从 0.290 降低至 0.264，表明对罕见类的建模能力得到改善。
• 在 CelebA 数据集上，Dia-GAN 将少数属性（如光头、戴帽子）的出现频率相比原始 GAN 提高最多达 25%，同时将部分召回率（R）提升 10-15%。
• 在 FID 和 IS 指标上，Dia-GAN 在 FFHQ 和 CIFAR-10 上达到当前最优性能，StyleGAN2 在该模型上实现 FID 11.89 和 IS 8.02，优于基线与先前方法。
• 该方法同时提升了保真度（FID、IS）与多样性（R、P），避免了质量与多样性之间的典型权衡。
• 实证与理论分析证实，高均值差异表明在模式崩溃区域建模不佳，而高差异方差则标识出罕见且难以建模的样本。