[论文解读] A Study of Data Pre-processing Techniques for Imbalanced Biomedical Data Classification

Shigang Liu, Jun Zhang+3 more|arXiv (Cornell University)|Nov 4, 2019

Imbalanced Data Classification Techniques被引用 10

一句话总结

本研究评估了用于不平衡生物医学数据分类的数据预处理技术——重采样和特征选择，重点关注其在不同数据分布和分类器下的影响。结果表明，结合特征选择的SVM表现最佳，尤其在T位置尺度分布和负二项分布的数据集上；而重采样技术的有效性则因分类器和不平衡比率的不同而显著差异。

ABSTRACT

Biomedical data are widely accepted in developing prediction models for identifying a specific tumor, drug discovery and classification of human cancers. However, previous studies usually focused on different classifiers, and overlook the class imbalance problem in real-world biomedical datasets. There are a lack of studies on evaluation of data pre-processing techniques, such as resampling and feature selection, on imbalanced biomedical data learning. The relationship between data pre-processing techniques and the data distributions has never been analysed in previous studies. This article mainly focuses on reviewing and evaluating some popular and recently developed resampling and feature selection methods for class imbalance learning. We analyse the effectiveness of each technique from data distribution perspective. Extensive experiments have been done based on five classifiers, four performance measures, eight learning techniques across twenty real-world datasets. Experimental results show that: (1) resampling and feature selection techniques exhibit better performance using support vector machine (SVM) classifier. However, resampling and Feature Selection techniques perform poorly when using C4.5 decision tree and Linear discriminant analysis classifiers; (2) for datasets with different distributions, techniques such as Random undersampling and Feature Selection perform better than other data pre-processing methods with T Location-Scale distribution when using SVM and KNN (K-nearest neighbours) classifiers. Random oversampling outperforms other methods on Negative Binomial distribution using Random Forest classifier with lower level of imbalance ratio; (3) Feature Selection outperforms other data pre-processing methods in most cases, thus, Feature Selection with SVM classifier is the best choice for imbalanced biomedical data learning.

研究动机与目标

• 解决在不平衡生物医学数据分类中数据预处理作用研究不足的问题。
• 分析数据分布特性如何影响预处理技术的有效性。
• 系统评估多种分类器和性能度量下重采样与特征选择方法的表现。
• 识别不同数据分布类型和不平衡水平下的最优预处理策略。
• 为改善真实世界生物医学数据集的分类性能提供基于证据的建议。

提出的方法

• 评估了八种数据预处理技术：随机欠采样、SMOTE、ADASYN、随机过采样以及四种特征选择方法。
• 在五种分类器上应用这些技术：SVM、KNN、C4.5、LDA 和随机森林。
• 使用四种性能度量：准确率、F1值、AUC 和 G-mean 来评估模型性能。
• 在二十个具有不同类别不平衡比率和数据分布的真实世界生物医学数据集上进行测试。
• 从数据分布的角度分析结果，将数据集按T位置尺度分布、负二项分布和其他分布进行分类。
• 在所有分类器与数据集的组合下，通过大量实验在受控条件下比较预处理技术。

实验结果

研究问题

• RQ1 不同的重采样与特征选择技术如何影响不平衡生物医学数据集的分类性能？
• RQ2 哪种预处理技术在多种数据分布和分类器中表现最佳？
• RQ3 不平衡比率如何影响重采样与特征选择方法的有效性？
• RQ4 数据分布类型与分类器选择之间对预处理性能的交互影响是什么？
• RQ5 哪种预处理技术与分类器的组合在不平衡生物医学学习中实现整体最佳性能？

主要发现

• 在大多数数据集和分类器上，特征选择始终优于其他预处理技术。
• SVM结合特征选择在T位置尺度分布数据上表现最佳。
• 在T位置尺度分布数据集上，使用SVM和KNN分类器时，随机欠采样与特征选择表现最佳。
• 在负二项分布数据上，使用随机森林分类器且不平衡比率较低时，随机过采样优于其他重采样方法。
• 在所有数据集上，C4.5和线性判别分析分类器对重采样与特征选择均表现较差。
• 预处理技术的有效性高度依赖于数据分布类型和分类器的选择。