[论文解读] CCP: Correlated Clustering and Projection for Dimensionality Reduction

Yuta Hozumi, Rui Wang+1 more|arXiv (Cornell University)|Jun 8, 2022

Topological and Geometric Data Analysis被引用 8

一句话总结

CCP 提出了一种新颖的数据域降维方法，通过聚类高度相关的特征，并利用基于相关性的度量将每个聚类投影到一维表示上，避免了矩阵对角化。该方法在高内在维度数据集（如 TCGA-PANCAN 和 Coil-20）上表现出色，具有更高的稳定性、可解释性，并与下游机器学习任务具有更好的兼容性。

ABSTRACT

Most dimensionality reduction methods employ frequency domain representations obtained from matrix diagonalization and may not be efficient for large datasets with relatively high intrinsic dimensions. To address this challenge, Correlated Clustering and Projection (CCP) offers a novel data domain strategy that does not need to solve any matrix. CCP partitions high-dimensional features into correlated clusters and then projects correlated features in each cluster into a one-dimensional representation based on sample correlations. Residue-Similarity (R-S) scores and indexes, the shape of data in Riemannian manifolds, and algebraic topology-based persistent Laplacian are introduced for visualization and analysis. Proposed methods are validated with benchmark datasets associated with various machine learning algorithms.

研究动机与目标

• 解决基于矩阵对角化的降维方法在高维、高内在维度数据集中的局限性。
• 开发一种数据域方法，避免频域计算，提升大规模或流式数据的稳定性。
• 通过聚类相关特征并基于样本相关性进行投影，实现可解释的、逐特征的降维。
• 引入新的几何与拓扑工具——R-S 分数、R-S 指数、持久拉普拉斯算子，用于可视化和分析低维嵌入中的数据形状。
• 在多种数据集和机器学习任务（包括分类与聚类）中展示有效性，提升鲁棒性与效率。

提出的方法

• 使用相关性距离或协方差距离作为聚类度量，将高维特征划分为相关性聚类。
• 采用基于相关性的投影策略，将每个聚类投影到一维表示，以保留内在特征关系。
• 利用灵活性刚性指数（FRI）评估聚类与投影过程中特征配置的稳定性。
• 引入残差相似性（R-S）分数与指数，量化低维空间中数据点之间的相似性与差异性。
• 利用持久谱图（PSG）与基于代数拓扑的持久拉普拉斯算子，分析低维流形中数据的拓扑形状。
• 完全避免矩阵对角化，转而依赖特征聚类与基于相关性的投影，从而提升计算效率与稳定性。

实验结果

研究问题

• RQ1 一种数据域降维方法能否避免矩阵对角化，同时在高维数据集上实现具有竞争力的性能？
• RQ2 CCP 基于相关性的聚类与投影策略与传统频域方法相比，在准确率与稳定性方面表现如何？
• RQ3 R-S 分数与拓扑指数（如持久拉普拉斯算子）在低维嵌入中对数据可视化与形状分析的增强程度如何？
• RQ4 与 UMAP、t-SNE 和 Isomap 相比，CCP 在具有大内在维度的数据集（如基因组学与图像数据）上的表现如何？
• RQ5 CCP 是否能与其它降维技术有效结合，以提升可视化与分类性能？

主要发现

• 在 TCGA-PANCAN 和 Coil-20 等具有大内在维度的数据集上，CCP 在分类准确率与稳定性方面优于传统方法（如 UMAP 与 t-SNE）。
• 在子采样下表现出高度稳定性，支持使用小样本初始模型高效增量嵌入新数据。
• CCP 生成高度可解释的组件，每个维度对应一个高度相关特征的聚类，便于在树模型中进行特征重要性分析。
• R-S 分数与指数能有效捕捉数据形状与拓扑结构，为复杂数据流形的可视化与分析提供了新工具。
• CCP-UMAP 与 CCP-t-SNE 混合模型通过结合 CCP 的全局结构捕捉能力与 UMAP/t-SNE 的局部结构保持能力，生成更优的二维可视化结果。
• 该方法在具有中等偏大内在维度的数据（如单细胞 RNA-Seq 与图像数据）上尤为有效，此时基于矩阵的方法常面临不稳定与计算成本过高的问题。