[论文解读] A survey of dimensionality reduction techniques based on random projection

Haozhe Xie, Jie Li+1 more|arXiv (Cornell University)|Jun 14, 2017

Face and Expression Recognition参考文献 80被引用 44

一句话总结

本综述回顾了基于随机投影（RP）的降维技术，将其分类为特征提取、维度增加和集成方法三类。评估了各类方法的优势与局限性，为高维数据处理的实践者提供了方法选择指导，同时指出了失真和计算成本等挑战。

ABSTRACT

Dimensionality reduction techniques play important roles in the analysis of big data. Traditional dimensionality reduction approaches, such as principal component analysis (PCA) and linear discriminant analysis (LDA), have been studied extensively in the past few decades. However, as the dimensionality of data increases, the computational cost of traditional dimensionality reduction methods grows exponentially, and the computation becomes prohibitively intractable. These drawbacks have triggered the development of random projection (RP) techniques, which map high-dimensional data onto a low-dimensional subspace with extremely reduced time cost. However, the RP transformation matrix is generated without considering the intrinsic structure of the original data and usually leads to relatively high distortion. Therefore, in recent years, methods based on RP have been proposed to address this problem. In this paper, we summarize the methods used in different situations to help practitioners to employ the proper techniques for their specific applications. Meanwhile, we enumerate the benefits and limitations of the various methods and provide further references for researchers to develop novel RP-based approaches.

研究动机与目标

• 为高维数据的基于随机投影（RP）的降维技术提供全面综述。
• 识别并分类通过解决高失真和缺乏任务特定结构来提升RP性能的方法。
• 根据数据特征和应用需求，指导实践者选择合适的基于RP的方法。
• 突出显示在RP领域，特别是针对实时和复杂数据任务的开放挑战与未来研究方向。

提出的方法

• 将RP改进方法分类为三类：特征提取、维度增加和集成方法。
• 分析特征提取方法，包括通用型和应用特定型变体，旨在从高维数据中提取判别性特征。
• 回顾维度增加技术，如ELM和矩形滤波器，通过将低维特征投影到更高维空间以提升线性可分性。
• 考察集成方法，通过投票机制或概率聚类（如基于EM的聚合）组合多个RP实例，以增强鲁棒性和泛化能力。
• 评估将RP与EM-based模型聚合结合用于聚类的方法，其中通过成对概率得分计算聚类相似性。
• 应用核心RP公式：$\mathbf{X}^{RP}_{n\times k} = \mathbf{X}_{n\times d}\mathbf{W}_{d\times k}$，其理论基础为Johnson-Lindenstrauss引理，以保证距离保持。

实验结果

研究问题

• RQ1 不同基于RP的方法在计算效率、失真度和高维数据性能方面如何比较？
• RQ2 特征提取、维度增加和基于集成的RP方法的关键优势与局限性是什么？
• RQ3 在何种场景下，基于RP的集成方法优于单次RP或传统降维方法（如PCA）？
• RQ4 如何有效结合RP与聚类算法以提升稳定性和聚类质量？
• RQ5 在实现复杂、实时应用中的准确、低失真降维方面，当前存在哪些开放挑战？

主要发现

• 基于多个RP实例的集成方法，如采用投票或基于EM的聚类聚合的方法，相比单次RP或基于PCA的方法，能产生更稳定和准确的结果。
• RP + EM集成方法在聚类任务中优于PCA + EM，即使EM算法易陷入局部最优，仍能生成更优且更鲁棒的聚类结果。
• 基于RP的集成方法在药物-靶点相互作用预测中使分类准确率提升4.5%–8.2%，在构音障碍语音识别任务中提升5.23%，优于基线方法。
• 特征提取方法，尤其是应用特定型方法，在提取判别性特征方面优于通用型方法，但计算开销大且泛化能力较弱。
• 维度增加方法如ELM和矩形滤波器速度较快，但难以拟合复杂特征，且在小样本-高维（n小-p大）数据集上易发生过拟合。
• 尽管标准RP效率高，但因其忽略数据内在结构而引入高失真，从而推动了先进基于RP技术的发展。