[论文解读] Capturing the Denoising Effect of PCA via Compression Ratio

Chandra Sekhar Mukherjee, Doerkar, Nikhil+1 more|arXiv (Cornell University)|Apr 22, 2022

Single-cell and spatial transcriptomics被引用 4

一句话总结

本文引入了主成分分析（PCA）中'可压缩性'的概念，证明PCA通过不成比例地减少簇内距离而非簇间距离，从而内在地增强了聚类效果。作者使用随机向量模型从理论上分析了这一效应，并在单细胞RNA-seq数据集上进行了实证验证，表明PCA对簇内距离的压缩可直接提升下游聚类的准确性，尤其在K-me群和Louvain等算法中表现显著。

ABSTRACT

Principal component analysis (PCA) is one of the most fundamental tools in machine learning with broad use as a dimensionality reduction and denoising tool. In the later setting, while PCA is known to be effective at subspace recovery and is proven to aid clustering algorithms in some specific settings, its improvement of noisy data is still not well quantified in general. In this paper, we propose a novel metric called \emph{compression ratio} to capture the effect of PCA on high-dimensional noisy data. We show that, for data with \emph{underlying community structure}, PCA significantly reduces the distance of data points belonging to the same community while reducing inter-community distance relatively mildly. We explain this phenomenon through both theoretical proofs and experiments on real-world data. Building on this new metric, we design a straightforward algorithm that could be used to detect outliers. Roughly speaking, we argue that points that have a \emph{lower variance of compression ratio} do not share a \emph{common signal} with others (hence could be considered outliers). We provide theoretical justification for this simple outlier detection algorithm and use simulations to demonstrate that our method is competitive with popular outlier detection tools. Finally, we run experiments on real-world high-dimension noisy data (single-cell RNA-seq) to show that removing points from these datasets via our outlier detection method improves the accuracy of clustering algorithms. Our method is very competitive with popular outlier detection tools in this task.

研究动机与目标

• 为了理解PCA为何在真实世界应用（如单细胞RNA-seq）中持续提升聚类性能，而不仅限于降维作用。
• 为了形式化并分析PCA的一种新属性——'可压缩性'，即簇内距离的减少程度显著高于簇间距离。
• 为了在不施加严格噪声假设的前提下，基于通用随机向量模型，为PCA的聚类增强效应提供理论基础。
• 为了在真实单细胞RNA-seq数据集上实证验证可压缩性效应，并将其与Louvain和K-means等聚类算法的性能提升相联系。
• 为了探讨PCA可压缩性对设计更高效、更准确的单细胞基因组学层次聚类算法的启示。

提出的方法

• 提出一种随机向量模型，其中数据点被建模为信号与任意独立同分布噪声的混合，不假设噪声为高斯或伯努利分布。
• 将可压缩性定义为PCA前与PCA后距离的比值，特别分析该比值在簇内与簇间配对中的差异。
• 使用非中心化PCA以保留信号结构，避免因中心化导致的聚类相关距离失真。
• 在对信号和噪声的一般条件下分析理论可压缩性差距，表明PCA能改善相对距离分离度。
• 在两个包含约2,500个细胞和约24,000个基因的真实单细胞RNA-seq数据集上进行实验，计算多个主成分下的压缩比。
• 将压缩比与Louvain和K-means的聚类准确性进行相关性分析，表明更高的可压缩性可预测更好的聚类恢复效果。

实验结果

研究问题

• RQ1 为何PCA在单细胞RNA-seq数据中能提升聚类准确性，尽管其并非专为聚类而设计？
• RQ2 在真实世界的向量聚类问题中，PCA对簇内距离的压缩程度相对于簇间距离有多大？
• RQ3 能否在不假设特定噪声分布的前提下，建立理论模型解释PCA的可压缩性效应？
• RQ4 PCA的可压缩性与下游聚类算法（如K-means和Louvain）的性能有何关联？
• RQ5 是否可以利用PCA的可压缩性来设计更高效、更准确的复杂单细胞数据层次聚类算法？

主要发现

• PCA显著减少了簇内距离，而对簇间距离的减少较小，形成了可压缩性差距，从而增强了聚类的可分性。
• 在使用前35个主成分时，真实单细胞数据集中簇内压缩比最高达到7.207，而簇间压缩比始终低于3.0。
• 在数据集1中，所有簇的平均簇内压缩比为5.924（C1），最高达7.207（C7），表明聚类信号得到良好保留。
• 在数据集2中，最高簇内压缩比为6.767（C6），最低簇间压缩比为2.033（C8），进一步证实了可压缩性差距的存在。
• PCA的可压缩性与聚类准确性高度相关：可压缩性越高的簇，越能被Louvain和K-means更准确地恢复。
• 非中心化PCA比中心化PCA更好地保留了可压缩性，且在单细胞数据中，聚类并不需要中心化处理。