[论文解读] Iterative Supervised Principal Components

Juho Piironen, Aki Vehtari|arXiv (Cornell University)|Oct 17, 2017

Gene expression and cancer classification参考文献 13被引用 7

一句话总结

本文提出了一种模型无关的降维方法——迭代监督主成分分析（ISPC），通过结合监督筛选与主成分分析，迭代选择对目标变量预测力最强的特征。与现有方法（如SPCA）相比，ISPC避免了交叉验证调参，可处理多分类问题，在计算开销极小的前提下实现了具有竞争力的预测性能，并显著提升了高维数据的可视化效果。

ABSTRACT

In high-dimensional prediction problems, where the number of features may greatly exceed the number of training instances, fully Bayesian approach with a sparsifying prior is known to produce good results but is computationally challenging. To alleviate this computational burden, we propose to use a preprocessing step where we first apply a dimension reduction to the original data to reduce the number of features to something that is computationally conveniently handled by Bayesian methods. To do this, we propose a new dimension reduction technique, called iterative supervised principal components (ISPC), which combines variable screening and dimension reduction and can be considered as an extension to the existing technique of supervised principal components (SPCs). Our empirical evaluations confirm that, although not foolproof, the proposed approach provides very good results on several microarray benchmark datasets with very affordable computation time, and can also be very useful for visualizing high-dimensional data.

研究动机与目标

• 解决在特征远多于训练样本的高维预测问题中，完全贝叶斯推断带来的计算负担。
• 开发一种降维技术，在保持贝叶斯方法计算可行性的同时提升预测性能。
• 通过消除对交叉验证的依赖并支持多分类任务，扩展监督主成分分析（SPC）。
• 在基准微阵列和文本数据集上，评估ISPC在预测建模与探索性数据可视化两方面的性能。

提出的方法

• ISPC通过迭代监督筛选，在每一步选择与目标变量相关性最高的特征。
• 在所选特征上进行主成分分析（PCA），构建监督性、降维后的特征空间。
• 使用置换检验确定最优成分数量，减少过拟合，避免交叉验证。
• 在需要时将监督成分与非监督成分结合，以保留全局数据结构并提升模型鲁棒性。
• 该算法与模型无关，可应用于任何贝叶斯或频率学派预测模型之前。
• 设计上计算高效，主要开销为置换检验，即使在大规模数据集上也易于处理。

实验结果

研究问题

• RQ1 迭代式监督降维方法是否能在高维微阵列和文本数据集上，优于标准PCA与SPCA的预测准确率？
• RQ2 ISPC是否能提供比PCA或SPCA更优的高维标记数据低维可视化效果？
• RQ3 在预测性能与计算效率方面，ISPC与Lasso和岭回归相比如何？
• RQ4 ISPC是否可在无需交叉验证调参的情况下有效应用于多分类问题？
• RQ5 在ISPC中引入非监督成分是否有益，是否能减少过拟合？

主要发现

• 在多个微阵列数据集上，ISPC的预测性能优于PCA与SPCA，尤其在Ovarian与Lung-5c数据集上表现更优，尽管SPCA在平均表现上略胜一筹。
• 在可视化方面，ISPC始终产生至少与PCA或SPCA相当，甚至更优的二维表示，尤其在Basehock与PCMac数据集上表现突出。
• 使用置换检验选择成分数量显著降低了过拟合，相比朴素ISPC（ISPCA-naive），在Colon与Prostate数据集上结果更优。
• 在ISPC中引入非监督成分（ISPCA）在部分数据集（如PCMac与Arcene）上提升了性能，尽管在SPCA中该优势不那么明显。
• 计算方面，ISPC开销可控，大多数数据集上模型拟合仅需数秒，且在n与D较大时仍保持可扩展性。
• 无单一方法在所有情况下均最优；然而，ISPC、SPCA与PCA在预测准确率上均显著优于Lasso与岭回归。