[논문 리뷰] CCP: Correlated Clustering and Projection for Dimensionality Reduction

Yuta Hozumi, Rui Wang외 1명|arXiv (Cornell University)|2022. 06. 08.

Topological and Geometric Data Analysis인용 수 8

한 줄 요약

CCP는 행렬 대각화를 피하는 상관관계 기반 메트릭을 사용하여 높은 상관관계를 가지는 특징을 군집화하고, 각 군집을 1차원 표현으로 투영하는 새로운 데이터 도메인 차원 축소 방법을 제안한다. TCGA-PANCAN 및 Coil-20와 같은 고내재차원 데이터셋에서 뛰어난 성능을 기록하며, 안정성, 해석 가능성, 후속 기계학습 작업과의 호환성 향상에 기여한다.

ABSTRACT

Most dimensionality reduction methods employ frequency domain representations obtained from matrix diagonalization and may not be efficient for large datasets with relatively high intrinsic dimensions. To address this challenge, Correlated Clustering and Projection (CCP) offers a novel data domain strategy that does not need to solve any matrix. CCP partitions high-dimensional features into correlated clusters and then projects correlated features in each cluster into a one-dimensional representation based on sample correlations. Residue-Similarity (R-S) scores and indexes, the shape of data in Riemannian manifolds, and algebraic topology-based persistent Laplacian are introduced for visualization and analysis. Proposed methods are validated with benchmark datasets associated with various machine learning algorithms.

연구 동기 및 목표

• 고차원, 고내재차원 데이터셋에서 행렬 대각화 기반 차원 축소 방법의 한계를 해결한다.
• 주파수 도메인 계산을 피하고 대규모 또는 스트리밍 데이터에 더 안정적인 데이터 도메인 접근법을 개발한다.
• 상관관계 기반으로 특징을 군집화하고 표본 상관관계에 기반한 투영을 통해 특징 단위로 차원 축소를 가능하게 하여 해석 가능성을 확보한다.
• 저차원 임bedding에서 데이터의 형태를 시각화하고 분석하기 위한 새로운 기하학적 및 위상수학적 도구—R-S 스코어, R-S 인덱스, 지속 라플라시안—을 도입한다.
• 분류 및 군집화를 포함한 다양한 데이터셋과 기계학습 작업에서 효과성을 입증하며, 강건성과 효율성 향상을 달성한다.

제안 방법

• 상관관계 거리 또는 공분산 거리를 군집화 메트릭으로 사용하여 고차원 특징을 상관관계 기반 군집으로 분할한다.
• 내재된 특징 관계를 유지하는 상관관계 기반 투영 전략을 사용하여 각 군집을 일차원 표현으로 투영한다.
• 군집화 및 투영 과정에서 특징 구성의 안정성을 평가하기 위해 유연성-고정성 지수(FRI)를 활용한다.
• 감소된 공간에서 데이터 포인트 간 유사성과 상이성을 정량화하기 위해 잔차 유사도(R-S) 스코어 및 인덱스를 도입한다.
• 지속 스펙트럼 그래프(PSG)와 대수적 위상수학 기반 지속 라플라시안을 사용하여 저차원 다양체에서 데이터의 위상적 형태를 분석한다.
• 행렬 대각화를 완전히 회피하며, 특징 군집화와 상관관계 기반 투영에 의존함으로써 계산 효율성과 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 데이터 도메인 기반 차원 축소 방법이 행렬 대각화를 피하면서도 고차원 데이터셋에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 CCP의 상관관계 기반 군집화 및 투영 전략은 기존 주파수 도메인 방법에 비해 정확도와 안정성 측면에서 어떻게 비교되는가?
• RQ3 R-S 스코어와 지속 라플라시안과 같은 위상적 인덱스는 저차원 임베딩에서 데이터의 형태와 위상적 구조를 얼마나 잘 포착할 수 있는가?
• RQ4 CCP는 유전체학 및 이미지 데이터와 같이 내재차원이 큰 데이터셋에서 UMAP, t-SNE, Isomap와 비교해 어떻게 성능을 내는가?
• RQ5 CCP는 다른 차원 축소 기법과 융합되어 시각화 및 분류 성능 향상에 효과적으로 활용될 수 있는가?

주요 결과

• CCP는 TCGA-PANCAN 및 Coil-20와 같이 내재차원이 큰 데이터셋에서 기존 방법인 UMAP와 t-SNE를 능가하며, 특히 분류 정확도와 안정성 측면에서 뛰어난 성능을 보였다.
• 하나의 작은 부분집합으로 사전에 학습된 모델을 기반으로 하위표본 추출에 매우 안정적이며, 새로운 데이터의 점진적 임베딩을 효율적으로 수행할 수 있다.
• CCP는 매우 해석 가능한 구성 요소를 생성하여, 각 차원이 높은 상관관계를 가지는 특징 군집에 해당함으로써 트리 기반 모델에서 특징 중요도 분석이 가능하다.
• R-S 스코어 및 인덱스는 데이터의 형태와 위상적 구조를 효과적으로 포착하여, 복잡한 데이터 다양체를 시각화하고 분석하는 데 새로운 도구를 제공한다.
• CCP-UMAP 및 CCP-t-SNE 하이브리드 모델은 CCP가 전역 구조를 잘 포착하고 UMAP/t-SNE가 국소 구조를 유지하는 특성을 결합하여 뛰어난 2차원 시각화를 생성한다.
• CCP는 특히 단일세포 RNA-Seq 및 이미지 데이터셋과 같이 내재차원이 중간 정도로 큰 데이터에 대해 매우 효과적이며, 이는 기존 행렬 기반 방법이 안정성과 계산 비용 문제를 야기하기 때문이다.