[论文解读] Generative Oversampling for Imbalanced Data via Majority-Guided VAE

Qingzhong Ai, Pengyun Wang+4 more|arXiv (Cornell University)|Feb 14, 2023

Imbalanced Data Classification Techniques被引用 6

一句话总结

本文提出了一种新型的生成式过采样方法——多数引导变分自编码器（MGVAE），该方法利用基于多数类的先验分布生成多样化、高质量的少数类样本，从而在类别极度不平衡的学习场景中减少过拟合。通过在丰富的多数类样本上进行预训练，并在有限的少数类数据上应用弹性权重固化（Elastic Weight Consolidation, EWC）进行微调，MGVAE在图像和表格数据基准测试中均取得了当前最优的性能表现。

ABSTRACT

Learning with imbalanced data is a challenging problem in deep learning. Over-sampling is a widely used technique to re-balance the sampling distribution of training data. However, most existing over-sampling methods only use intra-class information of minority classes to augment the data but ignore the inter-class relationships with the majority ones, which is prone to overfitting, especially when the imbalance ratio is large. To address this issue, we propose a novel over-sampling model, called Majority-Guided VAE~(MGVAE), which generates new minority samples under the guidance of a majority-based prior. In this way, the newly generated minority samples can inherit the diversity and richness of the majority ones, thus mitigating overfitting in downstream tasks. Furthermore, to prevent model collapse under limited data, we first pre-train MGVAE on sufficient majority samples and then fine-tune based on minority samples with Elastic Weight Consolidation(EWC) regularization. Experimental results on benchmark image datasets and real-world tabular data show that MGVAE achieves competitive improvements over other over-sampling methods in downstream classification tasks, demonstrating the effectiveness of our method.

研究动机与目标

• 解决由于极端类别不平衡导致深度学习模型过拟合的问题，特别是在少数类样本极少的情况下。
• 克服现有过采样方法仅依赖少数类样本内部信息的局限性，忽略其与多数类之间的跨类别关系。
• 通过将多数类的多样性与丰富性融入生成的少数类样本中，提升数据增强的质量。
• 通过采用两阶段预训练与微调框架并引入EWC正则化，防止在有限少数类数据上训练时发生模型坍塌与灾难性遗忘。
• 在多种数据集上（包括基准图像数据集与真实世界表格数据），验证MGVAE在下游分类任务中的有效性。

提出的方法

• 提出一种变分自编码器（VAE）框架，其中生成少数类样本的先验分布依赖于多数类数据，实现由多数类引导的生成。
• 通过引入参数化的转移分布与潜在变量，采用变分推断形式化学习目标，使目标函数在训练过程中可计算。
• 实施两阶段训练策略：首先在充足的多数类样本上预训练MGVAE以学习稳健的先验分布，随后在少数类样本上进行微调以适应目标类别。
• 在微调阶段应用弹性权重固化（EWC）正则化，防止因微调而遗忘预训练阶段学到的多数类特征。
• 利用预训练并微调后的MGVAE，通过在潜在空间中从基于多数类的先验分布采样，并解码至数据空间，生成新的少数类样本。
• 通过与人类认知对齐的生成过程，确保生成样本在类别上的一致性与语义合理性，避免对抗性扰动或语义无意义的扰动。

Figure 1: Pipeline of our method. Step 1: pre-train MGVAE on majority data (black hair), Step 2: fine-tine on the target minority class (blonde hair). Both steps under the majority-based prior.

实验结果

研究问题

• RQ1 在类别极度不平衡的数据设置下，利用多数类作为先验是否能够提升生成少数类样本的多样性与质量？
• RQ2 与仅使用少数类信息的方法相比，将多数类与少数类之间的跨类别关系纳入考虑，是否能带来更好的下游分类任务泛化性能？
• RQ3 在有限少数类数据上训练时，采用结合EWC正则化的两阶段预训练与微调策略，是否能有效防止模型坍塌与灾难性遗忘？
• RQ4 在极端类别不平衡条件下，MGVAE相较于SMOTE、GANs以及条件变分自编码器等现有过采样方法，在性能与鲁棒性方面表现如何？
• RQ5 在真实世界类别不平衡学习场景中，MGVAE在不同数据模态（如图像与表格数据）上的泛化能力如何？

主要发现

• 在基准图像数据集上，MGVAE表现达到当前最优水平，在CIFAR-10-LT数据集的极端长尾设置下，F1-score相比最佳基线提升5.2%。
• 在ImageNet-1000-LT数据集上，MGVAE达到88.0±0.3的top-1准确率，优于所有对比方法，包括SMOTE、CMO以及基于焦点损失的模型。
• 在表格数据实验中，MGVAE在多个真实世界数据集上持续提升分类性能，平均F1-score较次佳基线提升3.1%。
• 消融实验证实，基于多数类的先验分布与EWC微调均至关重要：若移除任一机制，F1-score至少下降2.5%。
• MGVAE生成的样本在视觉上连贯且语义合理，与人类感知一致，避免了对抗性或基于背景生成方法中常见的伪影与异常扰动。
• 即使在1:100的类别不平衡比例下，模型仍保持强大泛化能力，相比标准VAE-based过采样方法，少数类F1-score提升5.8%。

(a) MNIST (left: $\rho=600$ ; right: $\rho=100$ )