[论文解读] MetaBalance: High-Performance Neural Networks for Class-Imbalanced Data

Arpit Bansal, Micah Goldblum+4 more|arXiv (Cornell University)|Jun 17, 2021

Imbalanced Data Classification Techniques参考文献 34被引用 4

一句话总结

MetaBalance 提出了一种元学习方法，通过在内层和外层优化循环中解耦训练策略，实现对类别不平衡数据的深度神经网络训练，显著提升了少数类别的泛化能力，且不会过拟合。该方法在图像分类、欺诈检测、贷款违约预测和人脸识别等任务中，均优于标准的重采样和重加权方法。

ABSTRACT

Class-imbalanced data, in which some classes contain far more samples than others, is ubiquitous in real-world applications. Standard techniques for handling class-imbalance usually work by training on a re-weighted loss or on re-balanced data. Unfortunately, training overparameterized neural networks on such objectives causes rapid memorization of minority class data. To avoid this trap, we harness meta-learning, which uses both an ''outer-loop'' and an ''inner-loop'' loss, each of which may be balanced using different strategies. We evaluate our method, MetaBalance, on image classification, credit-card fraud detection, loan default prediction, and facial recognition tasks with severely imbalanced data, and we find that MetaBalance outperforms a wide array of popular re-sampling strategies.

研究动机与目标

• 解决在高度类别不平衡数据集上训练深度神经网络时，少数类别常被忽略或过拟合导致泛化能力差的问题。
• 克服标准重采样和重加权技术的局限性，这些技术在过参数化模型中无法有效防止过拟合。
• 开发一种利用元学习的训练框架，通过平衡内层和外层优化策略，学习鲁棒表征。
• 在不牺牲多数类别准确率的前提下，提升模型在少数类别上的性能，实现更好的整体泛化能力。
• 在图像分类和金融风险预测等具有严重类别不平衡的多样化真实应用场景中，证明 MetaBalance 的有效性。

提出的方法

• 采用具有独立内层和外层优化循环的元学习框架，使每层可采用不同的采样和损失策略。
• 在内层循环中，使用平衡数据子集（如过采样或数据增强）微调模型，以适应少数类别的模式。
• 在外层循环中，使用完整不平衡数据集上的标准无权重损失来优化初始模型参数，以保持泛化能力。
• 采用双层优化目标，使外层最小化经过一次内层更新后计算的验证损失，从而让模型学习到对类别不平衡具有鲁棒性的参数。
• 在内层循环中集成 mixup 和 CutMix 等数据增强技术，以生成多样化的少数类样本，而无需显式过采样。
• 在循环间解耦训练策略：在快速适应阶段（内层）使用平衡数据，在元优化阶段（外层）使用不平衡数据，防止对少数样本的过记忆。

实验结果

研究问题

• RQ1 元学习能否被有效用于提升在高度类别不平衡数据上训练的深度神经网络的泛化能力？
• RQ2 在内层和外层优化循环中解耦采样和损失策略，是否相比标准重采样或重加权方法，能带来更高的少数类别性能？
• RQ3 与朴素训练、过采样和欠采样相比，MetaBalance 在多数类和少数类上的准确率表现如何？
• RQ4 在过参数化模型中，MetaBalance 在多大程度上能防止对少数类样本的过拟合？
• RQ5 MetaBalance 是否能在图像分类、欺诈检测和人脸识别等具有严重类别不平衡的多样化领域中实现良好泛化？

主要发现

• 在严重类别不平衡的 CIFAR-10 变体上，MetaBalance 实现了 29% 的整体测试准确率，显著优于朴素模型（16.14%）和先前方法。
• 在同一不平衡 CIFAR-10 数据集上，MetaBalance 在少数类上实现了平均 30% 的准确率，而先前最先进方法在调整后仅达到 14.3%。
• 使用 MetaBalance 训练的模型在训练和测试阶段对多数类的准确率均保持在 60%，避免了朴素模型中出现的 98.3% 过拟合现象。
• 即使将朴素模型的阈值调整至与 MetaBalance 的多数类准确率一致，其整体性能（27.03%）仍低于 MetaBalance 的 29%。
• MetaBalance 有效减少了对少数类样本的过拟合，避免了标准训练中常见的决策边界“ gerrymandering”现象，即对罕见实例的过记忆。
• 欠采样方法在多数类上表现较差（因数据大量损失），而 MetaBalance 在多数类和少数类上均保持强性能，实现了更优的整体准确率。