[论文解读] Mining GOLD Samples for Conditional GANs

Sangwoo Mo, Chiheon Kim+3 more|arXiv (Cornell University)|Oct 21, 2019

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了一种名为对数密度差距（GOLD）的新颖差异度量方法，用于条件生成对抗网络（cGANs），通过判别器输出量化给定样本上数据分布与模型分布之间的差异。通过将GOLD分解为边缘与条件两部分，该方法实现了有效的样本重加权、拒绝采样和主动学习，从而在MNIST、SVHN和CIFAR-10数据集上持续提升训练、推理与数据选择性能。

ABSTRACT

Conditional generative adversarial networks (cGANs) have gained a considerable attention in recent years due to its class-wise controllability and superior quality for complex generation tasks. We introduce a simple yet effective approach to improving cGANs by measuring the discrepancy between the data distribution and the model distribution on given samples. The proposed measure, coined the gap of log-densities (GOLD), provides an effective self-diagnosis for cGANs while being efficienty computed from the discriminator. We propose three applications of the GOLD: example re-weighting, rejection sampling, and active learning, which improve the training, inference, and data selection of cGANs, respectively. Our experimental results demonstrate that the proposed methods outperform corresponding baselines for all three applications on different image datasets.

研究动机与目标

• 为解决评估与改进条件生成对抗网络（cGANs）的挑战，通过测量数据分布与模型分布之间的差异。
• 开发一种自诊断工具，利用判别器输出高效估计分布差距。
• 通过GOLD估计器的三种新应用，实现cGAN训练、推理与数据选择的改进。
• 提供一种简单、即插即用的方法，仅需极少代码修改即可提升cGAN性能。

提出的方法

• 提出对数密度差距（GOLD）估计器，作为衡量给定样本上数据分布与模型分布之间差异的度量。
• 将GOLD分解为两个分量：边缘对数密度差距（生成质量）与条件对数密度差距（类别准确率），两者均可从判别器的双分支结构中计算得出。
• 利用判别器的真实/虚假预测结果与辅助分类器输出，高效计算两项指标，无需额外训练。
• 采用启发式平衡方案，考虑判别器双分支中的次优水平，以稳定估计器。
• 引入三种应用：样本重加权（优先处理困难样本）、拒绝采样（过滤低质量生成结果）与主动学习（选择信息量丰富的未标注样本）。
• 在主动学习中采用重新初始化策略（保留生成器，重新初始化判别器），以避免陷入局部最优并提升收敛性。

实验结果

研究问题

• RQ1 能否从判别器输出中导出的差异度量提升条件生成对抗网络的训练与推理性能？
• RQ2 在cGAN框架中，如何有效估计单个样本上数据与模型分布之间的差距？
• RQ3 将差异度量分解为边缘与条件分量，能否同时提升生成质量与类别准确率？
• RQ4 GOLD-based的重加权、拒绝采样与主动学习在cGAN训练与推理中，相较于基线方法能多大程度上实现超越？
• RQ5 GOLD估计器是否能有效引导主动学习，以发现数据空间中未被覆盖或不确定的区域？

主要发现

• 在SVHN上，基于GOLD的重加权将cGAN的拟合能力从74.43提升至76.71（+3.06%）。
• 在SVHN上，基于GOLD的拒绝采样将拟合能力从73.58提升至75.06（+2.01%）。
• 在MNIST上，基于GOLD的主动学习策略将拟合能力从92.65提升至94.60（+2.10%）。
• 可视化显示，GOLD估计器能有效选择处于不确定或未覆盖区域的样本，该结果在合成与真实数据集上均得到验证。
• 定性分析证实，同时使用GOLD的边缘与条件分量，其查询选择效果优于单独使用任一分量。
• 该方法在多个数据集（MNIST、SVHN、FMNIST、CIFAR-10）上均实现一致的性能提升，且仅需极少的网络架构修改。