[论文解读] M2m: Imbalanced Classification via Major-to-minor Translation

Jaehyung Kim, Jongheon Jeong+1 more|arXiv (Cornell University)|Apr 1, 2020

Imbalanced Data Classification Techniques参考文献 43被引用 18

一句话总结

该论文提出M2m，一种用于类别不平衡分类的新型数据增强方法，通过使用预训练分类器将多数类样本翻译为合成少数类样本。通过利用对抗性扰动带来的多样化多数类特征，M2m显著提升了少数类的泛化能力，在极端长尾数据集（如Reuters）上，其平衡准确率相比SOTA方法LDAM最高提升17.1%。

ABSTRACT

In most real-world scenarios, labeled training datasets are highly class-imbalanced, where deep neural networks suffer from generalizing to a balanced testing criterion. In this paper, we explore a novel yet simple way to alleviate this issue by augmenting less-frequent classes via translating samples (e.g., images) from more-frequent classes. This simple approach enables a classifier to learn more generalizable features of minority classes, by transferring and leveraging the diversity of the majority information. Our experimental results on a variety of class-imbalanced datasets show that the proposed method improves the generalization on minority classes significantly compared to other existing re-sampling or re-weighting methods. The performance of our method even surpasses those of previous state-of-the-art methods for the imbalanced classification.

研究动机与目标

• 为解决在高度不平衡数据集上训练的深度神经网络在少数类上泛化能力差的问题。
• 克服现有重采样和重加权方法在极端类别不平衡下因少数类数据不足而失效的局限性。
• 探究是否可利用多数类的多样性来生成更具泛化能力的少数类特征。
• 开发一种简单但有效的过采样策略，通过不依赖现有少数类样本进行增强，避免过拟合。

提出的方法

• M2m通过优化多数类样本，施加对抗性扰动，使其被预训练分类器分类为目标少数类，从而生成合成少数类样本。
• 提出一种新颖的优化目标，确保翻译后的样本在保持与原始样本接近的同时，能被正确分类为少数类，从而保留多数类的性能。
• 设计了一种样本拒绝准则，优先选择更频繁的多数类进行翻译，以提升生成样本的质量和多样性。
• 提出一种最优采样分布，用于选择要翻译的多数类种子，基于类别频率和拒绝准则。
• 采用两阶段训练设置：首先在不平衡数据集上预训练分类器，然后利用其指导将多数类样本翻译为合成少数类样本。
• 在训练过程中使用合成样本对少数类进行过采样，从而提升泛化能力且避免过拟合。

Figure 1: An overview of the proposed method, called Major-to-minor Translation (M2m). M2m is based on the over-sampling method, and attempts to replace the over-sampled (duplicated) minority samples with synthetic ones translated from other majority samples. The more details are presented in Sectio

实验结果

研究问题

• RQ1 将多数类样本翻译为少数类表示是否能提升不平衡学习中少数类的泛化能力？
• RQ2 通过翻译利用多数类多样性，是否能带来比传统少数类过采样方法更优的特征学习？
• RQ3 在样本翻译中使用类似对抗性扰动的方法，如何影响模型的泛化能力和鲁棒性？
• RQ4 一种不使用现有少数类样本的方法，是否仍能在极端长尾数据集上达到SOTA性能？
• RQ5 M2m的性能提升源于生成样本的对抗性特性，还是源于多数类特征的多样性？

主要发现

• 与标准ERM及重采样/重加权基线相比，M2m在所有测试数据集（包括CIFAR-LT-10、CIFAR-LT-100、ImageNet、CelebA、SUN397、Twitter和Reuters）上显著提升了平衡准确率。
• 在Reuters数据集（极端类别不平衡）上，M2m相比标准训练方法将平衡准确率提升17.1%，相比SOTA的基于边际的LDAM方法提升9.2%。
• 消融实验表明，若使用干净的多数类样本（M2m-Clean）而非对抗性扰动样本，性能显著下降，证实了扰动的重要性。
• t-SNE可视化结果表明，与其它方法相比，M2m生成的少数类特征表示更具可分性且分布更均匀。
• M2m的累积假阳性曲线始终低于其他方法，且更接近线性，表明各类别上的误差分布更均匀、更低。
• 在低数据场景下，M2m优于SMOTE及其各类变体，证明了其在少数类样本极少时的有效性。

Figure 2: An illustration of M2m generation. A majority seed $x_{0}$ is translated to a synthetic minority $x^{*}$ based on the decision boundary of $g$ . By incorporating $x^{*}$ , $f$ learns an extended decision boundary of the target minority class.