[論文レビュー] CCP: Correlated Clustering and Projection for Dimensionality Reduction

Yuta Hozumi, Rui Wang+1 more|arXiv (Cornell University)|Jun 8, 2022

Topological and Geometric Data Analysis被引用数 8

ひとこと要約

CCPは、相関が高い特徴量をクラスタリングし、行列の対角化を回避する相関に基づく指標を用いて各クラスタを1次元表現に射影する、新しいデータドメインにおける次元削減手法を提案する。この手法は、TCGA-PANCAN や Coil-20 のような高内部次元のデータセットで優れた性能を発揮し、安定性、解釈可能性、および下流の機械学習タスクとの互換性が向上する。

ABSTRACT

Most dimensionality reduction methods employ frequency domain representations obtained from matrix diagonalization and may not be efficient for large datasets with relatively high intrinsic dimensions. To address this challenge, Correlated Clustering and Projection (CCP) offers a novel data domain strategy that does not need to solve any matrix. CCP partitions high-dimensional features into correlated clusters and then projects correlated features in each cluster into a one-dimensional representation based on sample correlations. Residue-Similarity (R-S) scores and indexes, the shape of data in Riemannian manifolds, and algebraic topology-based persistent Laplacian are introduced for visualization and analysis. Proposed methods are validated with benchmark datasets associated with various machine learning algorithms.

研究の動機と目的

• 高次元で内部次元が大きいデータセットにおける、行列の対角化に基づく次元削減手法の限界を克服すること。
• 周波数ドメインの計算を回避し、大規模またはストリーム処理可能なデータに対してより安定する、データドメインアプローチを開発すること。
• 相関のある特徴量をクラスタリングし、サンプルの相関に基づいて射影することで、解釈可能で特徴量単位の次元削減を可能にすること。
• 低次元埋め込みにおけるデータの形状を可視化・分析するための新しい幾何学的・トポロジカルなツール（R-S スコア、R-S インデックス、パーシステントラプラシアン）を導入すること。
• 分類やクラスタリングを含む多様なデータセットおよび機械学習タスクにおいて、より高いロバスト性と効率性を示す有効性を実証すること。

提案手法

• 相関距離または共分散距離をクラスタリングの指標として用い、高次元特徴量を相関クラスタに分割する。
• 特徴量間の内在的関係を保持する相関に基づく射影戦略を用いて、各クラスタを1次元表現に射影する。
• 特徴量の配置の安定性を評価するために、柔軟性・剛性インデックス（FRI）を用いる。
• 低次元空間におけるデータポイント間の類似性と相違を定量化するため、リジッド・シミリティ（R-S）スコアとインデックスを導入する。
• パーシステントスペクトルグラフ（PSG）と代数的トポロジーに基づくパーシステントラプラシアンを用いて、低次元多様体におけるデータのトポロジカルな形状を分析する。
• 行列の対角化を完全に回避し、特徴量のクラスタリングと相関に基づく射影に依存することで、計算効率性と安定性が向上する。

実験結果

リサーチクエスチョン

• RQ1 データドメインにおける次元削減手法が行列の対角化を回避しても、高次元データセットで競争力のある性能を達成できるか？
• RQ2 CCPの相関に基づくクラスタリングと射影戦略は、従来の周波数ドメイン手法と比較して、精度と安定性においてどのように異なるか？
• RQ3 R-S スコアとパーシステントラプラシアンのようなトポロジカルインデックスは、低次元埋め込みにおけるデータの形状とトポロジカル構造をどの程度効果的に捉えることができるか？
• RQ4 CCPは、遺伝子情報や画像データのような内部次元が非常に大きいデータセット（例：単細胞RNA-Seq）において、UMAP や t-SNE、Isomap と比較してどの程度の性能を示すか？
• RQ5 CCPは他の次元削減手法と効果的に組み合わせられ、可視化や分類性能を向上させることができるか？

主な発見

• CCPは、TCGA-PANCAN や Coil-20 のような内部次元が大きなデータセットにおいて、UMAP や t-SNE よりも分類精度と安定性の面で優れた性能を発揮する。
• サブサンプリングに対しても高い安定性を示し、小さなサブセットで事前学習したモデルを用いて、新規データのインクリメンタルな埋め込みが効率的に行える。
• CCPは特徴量ごとの解釈性が非常に高く、各次元が相関の高い特徴量クラスタに対応しており、決定木ベースのモデルにおける特徴量の重要度分析が可能になる。
• R-S スコアとインデックスは、データの形状とトポロジカル構造を効果的に捉えており、複雑なデータ多様体の可視化・分析に新たなツールを提供する。
• CCP-UMAP や CCP-t-SNE のハイブリッド手法は、CCPが捉えるグローバル構造と UMAP/t-SNE が保持するローカル構造を組み合わせることで、優れた2次元可視化を生成する。
• この手法は、特に単細胞RNA-Seq や画像データなど、内部次元が中程度に大きいデータに対して特に効果的であり、行列ベースの手法が不安定さと計算コストに苦しむ状況で顕著な優位性を示す。