[论文解读] DeepSMOTE: Fusing Deep Learning and SMOTE for Imbalanced Data

Damien Dablain, Bartosz Krawczyk+1 more|arXiv (Cornell University)|May 5, 2021

Digital Media Forensic Detection被引用 4

一句话总结

DeepSMOTE 提出了一种基于深度学习的新型过采样方法，将 SMOTE 与自编码器框架相结合，为类别不平衡的数据集生成高质量的人工图像。通过学习低维嵌入并在潜在空间中应用 SMOTE，该方法在无需判别器的情况下提升了少数类的表示能力，在准确率、鲁棒性和图像质量方面优于基于 GAN 和像素级的方法。

ABSTRACT

Despite over two decades of progress, imbalanced data is still considered a significant challenge for contemporary machine learning models. Modern advances in deep learning have magnified the importance of the imbalanced data problem. The two main approaches to address this issue are based on loss function modifications and instance resampling. Instance sampling is typically based on Generative Adversarial Networks (GANs), which may suffer from mode collapse. Therefore, there is a need for an oversampling method that is specifically tailored to deep learning models, can work on raw images while preserving their properties, and is capable of generating high quality, artificial images that can enhance minority classes and balance the training set. We propose DeepSMOTE - a novel oversampling algorithm for deep learning models. It is simple, yet effective in its design. It consists of three major components: (i) an encoder/decoder framework; (ii) SMOTE-based oversampling; and (iii) a dedicated loss function that is enhanced with a penalty term. An important advantage of DeepSMOTE over GAN-based oversampling is that DeepSMOTE does not require a discriminator, and it generates high-quality artificial images that are both information-rich and suitable for visual inspection. DeepSMOTE code is publicly available at: https://github.com/dd1github/DeepSMOTE

研究动机与目标

• 解决深度学习中类别不平衡的长期挑战，尤其是在图像等复杂数据上的问题。
• 克服现有过采样方法的局限性，特别是容易发生模式崩溃的基于 GAN 的方法以及缺乏语义理解能力的像素级方法。
• 开发一种在原始图像上端到端运行的方法，生成视觉上逼真的人工样本，并增强少数类的模型泛化能力。
• 确保生成的数据在质量和可解释性方面均表现优异，支持视觉检查，并在极端不平衡比例下保持鲁棒性。
• 构建一种简单、稳定且可调的解决方案，适用于多种深度学习应用的现实世界部署。

提出的方法

• 采用编码器/解码器自编码器架构，学习原始图像数据的低维有意义表征。
• 在学习到的潜在空间中应用基于 SMOTE 的过采样，通过在 k 个最近邻之间插值生成合成的少数类样本。
• 集成一种专用损失函数，并引入惩罚项，以引导自编码器训练向更优的表征学习和泛化能力发展。
• 使用训练好的编码器将真实样本和合成样本嵌入共享的潜在空间，实现整个流程的端到端训练。
• 从解码器生成保留真实数据语义和结构特性的高保真人工图像。
• 以统一、可微的方式训练整个系统，避免了 GAN 方法中常见的判别器需求。

实验结果

研究问题

• RQ1 SMOTE 能否有效集成到深度自编码器框架中，以生成适用于类别不平衡数据的高质量合成图像？
• RQ2 所提出的 DeepSMOTE 方法在分类准确率和鲁棒性方面是否优于最先进的基于像素和基于 GAN 的过采样技术？
• RQ3 DeepSMOTE 是否能生成视觉上可信且富含信息的人工图像，适用于视觉检查和下游深度学习任务？
• RQ4 与现有方法相比，DeepSMOTE 在极端类别不平衡比例和小样本数量下的表现如何？
• RQ5 在基于深度学习的过采样中，缺乏判别器在多大程度上提升了训练稳定性和泛化能力？

主要发现

• DeepSMOTE 在多个基准数据集上，针对不同不平衡比例，显著优于最先进的基于 GAN 和基于像素的过采样方法，在分类准确率方面表现更优。
• 该方法生成的合成图像质量高，与真实图像在视觉上难以区分，支持有效的视觉检查和有意义的数据增强。
• DeepSMOTE 展现出对极端类别不平衡和小样本数量的优越鲁棒性，在多种数据分布下保持稳定性能。
• 由于未使用判别器，消除了 GAN 方法中常见的模式崩溃问题，实现了更一致且可靠的合成样本生成。
• 该框架实现了端到端训练，具有简单透明的架构，易于调优和部署为现有深度学习流程的即插即用解决方案。
• DeepSMOTE 通过在类别边界附近生成合成样本，增强了深度模型的判别能力，改善了潜在空间中的决策边界学习。