[论文解读] Annealing Genetic GAN for Minority Oversampling

Jingyu Hao, Chengjia Wang+2 more|arXiv (Cornell University)|Aug 5, 2020

Imbalanced Data Classification Techniques参考文献 25被引用 10

一句话总结

本文提出了一种名为退火遗传生成对抗网络（AGGAN）的新颖训练策略，将模拟退火与遗传算法原理融入生成对抗网络（GAN），以克服在少数类过采样过程中出现的局部最优问题。通过允许有控制地接受较差解并演化多个生成器后代，AGGAN能从稀缺样本中有效学习准确的少数类分布，在类别极度不平衡的数据集上显著提升分类性能，尤其在高不平衡比率下表现突出。

ABSTRACT

The key to overcome class imbalance problems is to capture the distribution of minority class accurately. Generative Adversarial Networks (GANs) have shown some potentials to tackle class imbalance problems due to their capability of reproducing data distributions given ample training data samples. However, the scarce samples of one or more classes still pose a great challenge for GANs to learn accurate distributions for the minority classes. In this work, we propose an Annealing Genetic GAN (AGGAN) method, which aims to reproduce the distributions closest to the ones of the minority classes using only limited data samples. Our AGGAN renovates the training of GANs as an evolutionary process that incorporates the mechanism of simulated annealing. In particular, the generator uses different training strategies to generate multiple offspring and retain the best. Then, we use the Metropolis criterion in the simulated annealing to decide whether we should update the best offspring for the generator. As the Metropolis criterion allows a certain chance to accept the worse solutions, it enables our AGGAN steering away from the local optimum. According to both theoretical analysis and experimental studies on multiple imbalanced image datasets, we prove that the proposed training strategy can enable our AGGAN to reproduce the distributions of minority classes from scarce samples and provide an effective and robust solution for the class imbalance problem.

研究动机与目标

• 解决在类别不平衡数据集中，从稀缺训练样本中学习准确少数类分布的挑战。
• 克服在有限少数类样本下训练 GAN 时因陷入局部最优而导致的模式崩溃问题。
• 开发一种鲁棒的训练策略，以增强 GAN 生成真实且多样化少数类样本的能力。
• 通过生成更贴近真实少数类分布的高质量合成数据，提升分类器在少数类上的性能。

提出的方法

• AGGAN 将 GAN 训练重新构型为一种进化过程，其中生成器使用不同的训练策略生成多个后代。
• 根据判别器反馈选择最优后代，同时利用模拟退火中的 Metropolis 准则决定是否接受或拒绝对生成器的更新。
• 模拟退火机制允许随时间推移逐渐降低概率地接受较差解，从而实现从局部最优中逃脱。
• Metropolis 准则中的温度参数随训练过程逐渐降低，控制探索与利用之间的权衡。
• 该方法将变异和选择等遗传操作整合到生成器更新过程中，以增强多样性与收敛性。
• 该方法端到端应用于 GAN，未对原始判别器或生成器架构进行任何修改。

实验结果

研究问题

• RQ1 结合遗传算法与模拟退火的混合训练策略是否能提升 GAN 从有限样本中学习少数类分布的能力？
• RQ2 所提出的 AGGAN 方法是否能有效在类别不平衡数据的 GAN 训练中逃离局部最优并避免模式崩溃？
• RQ3 在少数类的分类性能方面，AGGAN 与标准 GAN 及其他过采样技术相比表现如何？
• RQ4 超参数配置（初始温度与退火系数）在多大程度上影响 AGGAN 的收敛性与最终性能？

主要发现

• 在不平衡比为 100 的 MNIST 数据集上，AGGAN 达到 92.41% 的准确率，显著优于 ACGAN（90.60%）、E-GAN（91.41%）及其他基线方法。
• 在相同不平衡比下的 Fashion-MNIST 数据集上，AGGAN 达到 83.20% 的准确率，超越所有对比方法，包括 CB-loss 和 DOS。
• 少数类的召回率在 AGGAN 下显著提升，表明其能更有效地识别真实少数类样本，尤其在高不平衡比率下表现更优。
• 特征可视化结果表明，AGGAN 生成的样本在测试集中更好地覆盖了少数类的完整分布，优于原始或基线 GAN 生成的数据。
• 超参数分析显示，较高的初始温度与退火系数会导致收敛更慢，但最终准确率更高，表明该方法在不同配置下具有鲁棒性。
• 全面的消融实验表明，遗传与模拟退火两个组件均至关重要，若任一组件被移除，性能将显著下降。