[论文解读] Dimension Reduction of High-Dimensional Datasets Based on Stepwise SVM

Elizabeth P. Chou, Tzu-Wei Ko|arXiv (Cornell University)|Nov 9, 2017

Gene expression and cancer classification参考文献 14被引用 3

一句话总结

本文提出一种分步支持向量机（SVM）方法，用于高维、小样本量（大p小n）数据集中的降维，特别适用于基因表达分析。通过使用SVM逐个评估单个变量的预测性能，该方法选择出一个稳定、噪声减少的特征子集，从而在原始数据集和其他降维数据集中均提升了分类准确率。

ABSTRACT

The current study proposes a dimension reduction method, stepwise support vector machine (SVM), to reduce the dimensions of large p small n datasets. The proposed method is compared with other dimension reduction methods, namely, the Pearson product difference correlation coefficient (PCCs), recursive feature elimination based on random forest (RF-RFE), and principal component analysis (PCA), by using five gene expression datasets. Additionally, the prediction performance of the variables selected by our method is evaluated. The study found that stepwise SVM can effectively select the important variables and achieve good prediction performance. Moreover, the predictions of stepwise SVM for reduced datasets was better than those for the unreduced datasets. The performance of stepwise SVM was more stable than that of PCA and RF-RFE, but the performance difference with respect to PCCs was minimal. It is necessary to reduce the dimensions of large p small n datasets. We believe that stepwise SVM can effectively eliminate noise in data and improve the prediction accuracy in any large p small n dataset.

研究动机与目标

• 解决基因组学和计算生物学中常见的高维、小样本量数据集所面临的挑战。
• 通过减少大p小n数据集中的噪声和无关特征，提升分类性能。
• 开发一种在半监督设置下适用于监督学习的稳定、计算高效且有效的降维方法。
• 在真实基因表达数据集中，将所提方法与主成分分析（PCA）、基于相关性的过滤方法以及随机森林递归特征消除（RF-RFE）等成熟技术进行对比评估。

提出的方法

• 该方法基于序列前向选择的包装器方法，通过SVM单独评估每个变量的预测能力。
• 在每一步中，基于SVM分类器在验证集上的预测率，选择能最大程度提升分类准确率的变量。
• 该过程迭代进行，直至选定预设数量的特征或性能趋于稳定。
• SVM分类中使用线性或RBF核，每组数据集选择表现最佳的核函数。
• 特征选择基于预测准确率而非相关性或方差，因此具有分类器依赖性，并嵌入学习过程之中。
• 该方法通过在降维特征空间中保留样本之间的关系，维持了数据的几何结构。

实验结果

研究问题

• RQ1 在高维基因表达数据集中，分步SVM是否在预测准确率方面优于传统的降维方法，如主成分分析（PCA）、基于相关性的过滤方法以及随机森林递归特征消除（RF-RFE）？
• RQ2 使用分步SVM进行降维后，分类性能是否优于使用完整原始数据集？
• RQ3 与其它方法相比，分步SVM在多个基因表达数据集上的性能是否更稳定？
• RQ4 在大p小n场景下，分步SVM在多大程度上减少了噪声并提升了模型泛化能力？
• RQ5 考虑到其逐个选择变量的方法，变量之间的依赖关系和交互作用在多大程度上影响了分步SVM方法的性能？

主要发现

• 在五个基因表达数据集中的四个中，分步SVM取得了最高的预测准确率，其中在Khan数据集上达到98.65%的准确率，在Shipp数据集上达到95.00%。
• 与原始完整数据集相比，该方法在降维后的数据集上提升了分类性能，表明其有效减少了噪声并实现了特征选择。
• 分步SVM在不同数据集上的性能比主成分分析（PCA）和随机森林递归特征消除（RF-RFE）更稳定，性能波动极小，而基于皮尔逊相关系数（PCC）的方法仅表现出轻微差异。
• 在Gordon数据集上，分步SVM达到了98.61%的准确率，优于原始数据（95.89%）和其他方法，包括主成分分析（99.23%），且结果更为一致。
• 该方法计算开销较大，但因采用贪婪的顺序选择过程而忽略了变量之间的交互作用，导致结果次优。
• 热图和样本相似性可视化结果表明，使用分步SVM降维后的数据集保留了有意义的样本关系，支持了该方法在几何保真度方面的有效性。