[论文解读] A Comparison of Synthetic Oversampling Methods for Multi-class Text Classification

Anna Glazkova|arXiv (Cornell University)|Aug 11, 2020

Text and Document Classification Technologies被引用 14

一句话总结

本论文评估了合成过采样方法——SMOTE、Borderline SMOTE、ADASYN 和随机过采样——在多分类文本分类任务中的表现，采用 KNN、SVM 和神经网络（FNN、LSTM、BLSTM）以及多种文本表示方法。结果表明，ADASYN 和 SMOTE 显著提升了少数类的 F1 分数和召回率，尤其在深度学习模型中表现突出，而 KNN 和 SVM 对类别不平衡更为敏感。

ABSTRACT

The authors compared oversampling methods for the problem of multi-class topic classification. The SMOTE algorithm underlies one of the most popular oversampling methods. It consists in choosing two examples of a minority class and generating a new example based on them. In the paper, the authors compared the basic SMOTE method with its two modifications (Borderline SMOTE and ADASYN) and random oversampling technique on the example of one of text classification tasks. The paper discusses the k-nearest neighbor algorithm, the support vector machine algorithm and three types of neural networks (feedforward network, long short-term memory (LSTM) and bidirectional LSTM). The authors combine these machine learning algorithms with different text representations and compared synthetic oversampling methods. In most cases, the use of oversampling techniques can significantly improve the quality of classification. The authors conclude that for this task, the quality of the KNN and SVM algorithms is more influenced by class imbalance than neural networks.

研究动机与目标

• 评估合成过采样方法在缓解多分类文本分类任务中类别不平衡问题方面的有效性。
• 比较过采样对多种机器学习模型（KNN、SVM、前馈网络、LSTM 和双向 LSTM）的影响。
• 分析不同文本表示方法（词袋模型、TF-IDF、Word2Vec）与过采样技术之间的相互作用。
• 确定深度学习模型是否比 KNN 和 SVM 等传统模型对类别不平衡不敏感。

提出的方法

• 应用四种过采样技术：随机过采样、SMOTE、Borderline SMOTE 和 ADASYN，以平衡文本分类中的少数类别。
• 将每种过采样方法与五种分类算法结合：KNN、SVM、前馈神经网络（FNN）、LSTM 和双向 LSTM（BLSTM）。
• 使用三种文本表示方法：词袋模型、TF-IDF 和 Word2Vec（包括线性表示和序列表示）。
• 通过标准指标评估性能：准确率、F1 分数、精确率和召回率，针对多个 k 值（75% 和 100%）进行过采样。
• 在具有类别分布不平衡的传记文本分类数据集上进行实验。
• 报告多种配置下的结果，以评估模型和表示方法对过采样的敏感性。

实验结果

研究问题

• RQ1 合成过采样方法（SMOTE、ADASYN、Borderline SMOTE、随机过采样）在多分类文本分类中的分类性能有何影响？
• RQ2 在存在类别不平衡的情况下，哪些机器学习模型（KNN、SVM、FNN、LSTM、BLSTM）从过采样中获益最多？
• RQ3 不同文本表示方法（词袋模型、TF-IDF、Word2Vec）与过采样技术在性能提升方面如何相互作用？
• RQ4 过采样带来的性能提升在传统模型（KNN、SVM）与深度神经网络（LSTM、BLSTM）之间是否存在显著差异？
• RQ5 哪种模型、文本表示与过采样方法的组合能为少数类带来最高的 F1 分数和召回率？

主要发现

• ADASYN 在 k=100% 时，于 Word2Vec（序列）与 BLSTM 结合下，取得了最高的 F1 分数 71.53% 和召回率 91.32%，优于其他方法。
• SMOTE 在 k=100% 时，与 TF-IDF 和 KNN 结合，使 F1 分数提升至 70.79%，召回率提升至 90.08%，在传统模型中表现强劲。
• KNN 和 SVM 对类别不平衡最为敏感，未使用过采样时 F1 分数降至 60% 以下，而深度网络表现出更高的鲁棒性。
• BLSTM 搭配 ADASYN 在 Word2Vec（序列）上实现了 83.91% 的 F1 分数和 85.19% 的召回率，表明深度模型能从自适应过采样中显著受益。
• 随机过采样在所有模型中均一致提升了性能，但其表现仍逊于 SMOTE 和 ADASYN，尤其在少数类的 F1 分数和召回率方面。
• Word2Vec（序列）与 ADASYN 的组合取得了最佳整体结果，在 k=100% 时，BLSTM 的准确率为 82.28%，F1 分数为 78.16%。