[論文レビュー] Capturing the Denoising Effect of PCA via Compression Ratio

Chandra Sekhar Mukherjee, Doerkar, Nikhil+1 more|arXiv (Cornell University)|Apr 22, 2022

Single-cell and spatial transcriptomics被引用数 4

ひとこと要約

本稿ではPCAにおける'可換性'の概念を導入し、PCAが内クラスタ距離を外クラスタ距離よりも顕著に縮小することで、本質的にクラスタリングを向上させることを示している。著者らはランダムベクトルモデルを用いてこの効果を理論的に分析し、単細胞RNA-seqデータセット上で実証的に検証した。その結果、PCAによる内クラスタ距離の圧縮が、K-means や Louvain などの後続のクラスタリングアルゴリズムの精度向上に直接寄与することが明らかになった。

ABSTRACT

Principal component analysis (PCA) is one of the most fundamental tools in machine learning with broad use as a dimensionality reduction and denoising tool. In the later setting, while PCA is known to be effective at subspace recovery and is proven to aid clustering algorithms in some specific settings, its improvement of noisy data is still not well quantified in general. In this paper, we propose a novel metric called \emph{compression ratio} to capture the effect of PCA on high-dimensional noisy data. We show that, for data with \emph{underlying community structure}, PCA significantly reduces the distance of data points belonging to the same community while reducing inter-community distance relatively mildly. We explain this phenomenon through both theoretical proofs and experiments on real-world data. Building on this new metric, we design a straightforward algorithm that could be used to detect outliers. Roughly speaking, we argue that points that have a \emph{lower variance of compression ratio} do not share a \emph{common signal} with others (hence could be considered outliers). We provide theoretical justification for this simple outlier detection algorithm and use simulations to demonstrate that our method is competitive with popular outlier detection tools. Finally, we run experiments on real-world high-dimension noisy data (single-cell RNA-seq) to show that removing points from these datasets via our outlier detection method improves the accuracy of clustering algorithms. Our method is very competitive with popular outlier detection tools in this task.

研究の動機と目的

• 単細胞RNA-seqのような現実世界の応用において、次元削減の役割を超えてPCAがなぜ一貫してクラスタリング性能を向上させるのかを理解すること。
• PCAの新たな性質である'可換性'を形式化・分析すること。ここでいう可換性とは、内クラスタ距離が外クラスタ距離よりも顕著に縮小されることを指す。
• 特定のノイズ分布を仮定しない一般化されたランダムベクトルモデルを用いて、PCAのクラスタリング向上の理論的基盤を提供すること。
• 実際の単細胞RNA-seqデータセット上で可換性効果を実証的に検証し、Louvain や K-means などの後続クラスタリングアルゴリズムの性能向上と関連付けること。
• PCAの可換性が、単細胞ゲノム学におけるより効果的で正確な階層的クラスタリングアルゴリズムの設計にどのように活用できるかを検討すること。

提案手法

• 信号と任意のi.i.d.ノイズの混合としてデータポイントをモデル化するランダムベクトルモデルを提案し、ガウス分布やベルヌーイ分布を仮定しない。
• 可換性を、PCA適用前の距離と後の距離の比として定義し、特に内クラスタ対と外クラスタ対の間でのこの比の違いを分析する。
• 信号構造を保存し、クラスタリングに関連する距離に中心化による歪みを生じさせないために、非中心化PCAを用いる。
• 信号とノイズの一般条件の下で理論的可換性ギャップを分析し、PCAが相対的距離分離を改善することを示す。
• 約2,500細胞と約24,000遺伝子を有する2つの実際の単細胞RNA-seqデータセットを用いて、複数の主成分にわたる圧縮比を計算する実験を実施。
• 圧縮比とLouvainおよびK-meansのクラスタリング精度の相関をとることで、高い可換性がより良いクラスタ回復を予測することを示した。

実験結果

リサーチクエスチョン

• RQ1 PCAはクラスタリングを明示的に設計されていないにもかかわらず、なぜ単細胞RNA-seqデータにおいてクラスタリング精度を向上させるのか？
• RQ2 現実のベクトルクラスタリング問題において、PCAは内クラスタ距離を外クラスタ距離に対してどの程度圧縮するのか？
• RQ3 特定のノイズ分布を仮定しない理論的モデルは、PCAの可換性効果を説明できるか？
• RQ4 PCAの可換性は、K-means や Louvain などの後続クラスタリングアルゴリズムの性能とどのように関連するか？
• RQ5 PCAの可換性は、複雑な単細胞データに適したより効率的で正確な階層的クラスタリングアルゴリズムの設計に活用できるか？

主な発見

• PCAは内クラスタ距離を外クラスタ距離よりも顕著に縮小し、クラスタリング分離性を向上させる可換性ギャップを生じる。
• 実際の単細胞データセットにおいて、最初の35個の主成分を用いることで、内クラスタの圧縮比は最大7.207に達した一方、外クラスタの圧縮比は3.0未満にとどまった。
• データセット1では、クラスタ全体の平均内クラスタ圧縮比は5.924（C1）であり、最大値は7.207（C7）に達し、強力なクラスタ信号の保持が示された。
• データセット2では、最大内クラスタ圧縮比は6.767（C6）であり、最小外クラスタ圧縮比は2.033（C8）であった。これにより、可換性ギャップが確認された。
• PCAの可換性はクラスタリング精度と強く相関しており、高い可換性を示すクラスタはLouvainおよびK-meansによってより正確に回復された。
• 非中心化PCAは中心化PCAよりも可換性をよりよく保持しており、単細胞データにおける有効なクラスタリングのためには中心化は必須でないことが示された。