[논문 리뷰] Capturing the Denoising Effect of PCA via Compression Ratio

Chandra Sekhar Mukherjee, Doerkar, Nikhil외 1명|arXiv (Cornell University)|2022. 04. 22.

Single-cell and spatial transcriptomics인용 수 4

한 줄 요약

이 논문은 주성분 분석(PCA)에서 '압축 가능성(compressibility)'의 개념을 도입하여, PCA가 내재적으로 군집 간 거리보다 군집 내 거리를 더 극적으로 감소시켜 군집 성능을 향상시킨다는 것을 보여준다. 저자들은 무작위 벡터 모델을 사용하여 이 효과를 이론적으로 분석하고, 단일세포 RNA-Seq 데이터셋에서 이를 실증적으로 검증하여, PCA가 군집 내 거리를 압축함으로써 후속 군집 알고리즘의 정확도를 향상시킨다는 점을 입증한다. 특히 K-means 및 Louvain 알고리즘에서 두드러진 효과를 보인다.

ABSTRACT

Principal component analysis (PCA) is one of the most fundamental tools in machine learning with broad use as a dimensionality reduction and denoising tool. In the later setting, while PCA is known to be effective at subspace recovery and is proven to aid clustering algorithms in some specific settings, its improvement of noisy data is still not well quantified in general. In this paper, we propose a novel metric called \emph{compression ratio} to capture the effect of PCA on high-dimensional noisy data. We show that, for data with \emph{underlying community structure}, PCA significantly reduces the distance of data points belonging to the same community while reducing inter-community distance relatively mildly. We explain this phenomenon through both theoretical proofs and experiments on real-world data. Building on this new metric, we design a straightforward algorithm that could be used to detect outliers. Roughly speaking, we argue that points that have a \emph{lower variance of compression ratio} do not share a \emph{common signal} with others (hence could be considered outliers). We provide theoretical justification for this simple outlier detection algorithm and use simulations to demonstrate that our method is competitive with popular outlier detection tools. Finally, we run experiments on real-world high-dimension noisy data (single-cell RNA-seq) to show that removing points from these datasets via our outlier detection method improves the accuracy of clustering algorithms. Our method is very competitive with popular outlier detection tools in this task.

연구 동기 및 목표

• 단일세포 RNA-seq와 같은 실제 응용에서 차원 감소의 역할을 넘어서 PCA가 군집 성능을 일관되게 향상시키는 이유를 이해하기 위해.
• 군집 내 거리가 군집 간 거리보다 더 크게 감소하는 '압축 가능성'이라는 PCA의 새로운 성질을 정의하고 분석하기 위해.
• 제한적인 노이즈 가정 없이 일반적인 무작위 벡터 모델을 사용하여 PCA의 군집 강화 효과에 대한 이론적 기반을 마련하기 위해.
• 실제 단일세포 RNA-seq 데이터셋에서 압축 가능성 효과를 실증적으로 검증하고, Louvain 및 K-means와 같은 후속 군집 알고리즘의 성능 향상과 연관지기 위해.
• 단일세포 게놈학에서 보다 효율적이고 정확한 계층적 군집 알고리즘 설계에 있어 PCA의 압축 가능성의 함의를 탐색하기 위해.

제안 방법

• 노이즈가 가우시안 또는 버리울리 분포일 것이라는 가정 없이, 신호와 임의의 i.i.d. 노이즈의 혼합으로 데이터 포인트를 모델링하는 무작위 벡터 모델을 제안한다.
• 압축 가능성(compressibility)을 PCA 적용 전후의 거리 비율로 정의하며, 특히 군집 내 쌍과 군집 간 쌍 간의 비율 차이를 분석한다.
• 신호 구조를 유지하고 군집 관련 거리에 대한 중심화에 의한 왜곡을 방지하기 위해 중심화되지 않은 PCA를 사용한다.
• 신호와 노이즈에 대한 일반적인 조건 하에서 이론적 압축 가능성 격차를 분석하여, PCA가 상대적 거리 분리도 향상시킴을 보여준다.
• 약 2,500개의 세포와 약 24,000개의 유전자를 포함하는 두 개의 실세계 단일세포 RNA-seq 데이터셋에서 실험을 수행하고, 여러 주성분을 통해 압축 비율을 계산한다.
• Louvain 및 K-means의 군집 정확도와 압축 비율을 상관 분석하여, 높은 압축 가능성일수록 더 정확한 군집 복원을 예측함을 입증한다.

실험 결과

연구 질문

• RQ1 PCA는 군집화를 위해 설계된 것이 아니지만, 단일세포 RNA-seq 데이터에서 군집 정확도를 왜 향상시키는가?
• RQ2 실제 벡터 군집 문제에서 PCA는 군집 내 거리를 군집 간 거리보다 어느 정도 더 압축하는가?
• RQ3 특정 노이즈 분포를 가정하지 않고도 PCA의 압축 가능성 효과를 설명할 수 있는 이론적 모델이 존재하는가?
• RQ4 PCA의 압축 가능성은 K-means 및 Louvain과 같은 후속 군집 알고리즘의 성능과 어떻게 관련이 있는가?
• RQ5 PCA의 압축 가능성은 복잡한 단일세포 데이터에 대한 보다 효율적이고 정확한 계층적 군집 알고리즘 설계에 활용될 수 있는가?

주요 결과

• PCA는 군집 간 거리보다 군집 내 거리를 더 크게 감소시켜 군집 간 분리도를 향상시키는 압축 가능성 격차(compressibility gap)를 생성한다.
• 실제 단일세포 데이터셋에서 첫 35개 주성분을 사용할 경우 군집 내 압축 비율은 최대 7.207에 도달했고, 군집 간 비율은 3.0 이하로 유지되었다.
• 데이터셋 1에서는 모든 군집의 평균 군집 내 압축 비율이 5.924(C1)였으며, 최고는 7.207(C7)였으며, 이는 강력한 군집 신호 유지의 증거였다.
• 데이터셋 2에서는 군집 내 최고 압축 비율이 6.767(C6)였고, 군집 간 최저 비율은 2.033(C8)였으며, 이는 압축 가능성 격차를 확인시켰다.
• PCA의 압축 가능성은 군집 정확도와 강하게 상관되어 있었으며, 높은 압축 가능성은 Louvain 및 K-means에 의해 더 정확하게 복원된 군집을 의미했다.
• 중심화되지 않은 PCA는 중심화된 PCA보다 압축 가능성을 더 잘 유지했으며, 단일세포 데이터에서 군집화에 중심화가 필수적인 것은 아님을 시사했다.