[論文レビュー] Important Feature PCA for high dimensional clustering

Jiashun Jin, Wanjie Wang|arXiv (Cornell University)|Jul 20, 2014

Sparse and Compressive Sensing Techniques参考文献 43被引用数 6

ひとこと要約

本稿では、高次元データ（p ≫ n）におけるチューニングフリーなクラスタリング手法である重要な特徴量PCA（IF-PCA）を提案する。IF-PCAは、Higher Criticismに適応したしきい値を用いて、Kolmogorov-Smirnov（KS）スコアが最も高い特徴量を選択し、選択後データ行列を正規化した上で、その最初の（K−1）個の左特異ベクトルにk-meansを適用する。IF-PCAはクラスタリングの一貫性を達成し、3つの遺伝子マイクロアレイデータセットにおいて他の手法と比較して誤差率を29%以下にまで低減する。

ABSTRACT

We consider a clustering problem where we observe feature vectors Xi ∈ R, i = 1, 2, . . . , n, from K possible classes. The class labels are unknown and the main interest is to estimate them. We are primarily interested in the modern regime of p n, where classical clustering methods face challenges. We propose Important Features PCA (IF-PCA) as a new clustering procedure. In IFPCA, we select a small fraction of features with the largest Kolmogorov-Smirnov (KS) scores, where the threshold is chosen by adapting the recent notion of Higher Criticism, obtain the first (K − 1) left singular vectors of the post-selection normalized data matrix, and then estimate the labels by applying the classical k-means to these singular vectors. It can be seen that IF-PCA is a tuning free clustering method. We apply IF-PCA to 10 gene microarray data sets. The method has competitive performance in clustering. Especially, in three of the data sets, the error rates of IF-PCA are only 29% or less of the error rates by other methods. We have also rediscovered a phenomenon on empirical null by [16] on microarray data. With delicate analysis, especially post-selection eigen-analysis, we derive tight probability bounds on the Kolmogorov-Smirnov statistics and show that IF-PCA yields clustering consistency in a broad context. The clustering problem is connected to the problems of sparse PCA and low-rank matrix recovery, but it is different in important ways. We reveal an interesting phase transition phenomenon associated with these problems and identify the range of interest for each.

研究の動機と目的

• 高次元データ（p ≫ n）におけるクラスタリングの課題に対処すること。
• チューニングパラメータが不要で、ロバストかつ適応的なクラスタリング手順を開発すること。
• 高次元漸近的条件下でのクラスタリングの一貫性に関する理論的保証を確立すること。
• クラスタリング、スパースPCA、低ランク行列回復問題におけるフェーズ遷移を解明すること。
• 厳密な選択後固有値解析を用いて、マイクロアレイデータにおける経験的ノーマル現象を再発見・分析すること。

提案手法

• Kolmogorov-Smirnov（KS）検定スコアが最大の少数の特徴量を選択して、情報量の多い特徴量を特定する。
• 弱い信号を検出できるように、Higher Criticism法の適応版を用いて特徴量選択のしきい値を決定する。
• 選択された特徴量を正規化して、選択後データ行列を構築する。
• 正規化された選択後行列の最初の（K−1）個の左特異ベクトルを計算する。
• 古典的なk-meansクラスタリングを（K−1）個の特異ベクトルに適用して、クラスラベルを推定する。
• 選択後固有値解析を用いて、KS統計量のきつい確率的境界を導出し、理論的一致性を保証する。

実験結果

リサーチクエスチョン

• RQ1 p ≫ n の状況下で、高次元クラスタリングにおいてどのようにして情報量の多い特徴量を効果的に特定できるか？
• RQ2 弱い信号が存在する高次元設定において、クラスタリングの一貫性に関する理論的保証は何か？
• RQ3 実際の遺伝子マイクロアレイデータにおいて、IF-PCAは他の手法と比較して誤差率でどのように異なるか？
• RQ4 クラスタリング、スパースPCA、低ランク行列回復問題におけるフェーズ遷移現象は何か、それらはどのように関連しているか？
• RQ5 マイクロアレイデータで観察された経験的ノーマル現象は、選択後解析を用いて厳密に説明可能か？

主な発見

• IF-PCAは、選択後KS統計量のきつい確率的境界を用いることで、広範な条件下でクラスタリングの一貫性を達成する。
• 3つの遺伝子マイクロアレイデータセットにおいて、IF-PCAは他の手法が生成する誤差率の29%以下にまで低減した。
• この手法はチューニングフリーであり、KSスコアとHigher Criticismによるしきい値選択に依存するのみである。
• クラスタリング、スパースPCA、低ランク行列回復の各分野において、実行可能性の領域を区別するフェーズ遷移現象が同定された。
• 本研究は、マイクロアレイデータで観察された経験的ノーマル現象を、選択後固有値解析を通じて確認・解釈した。
• 理論的解析により、IF-PCAがp ≫ n の状況下でも強固な有限標本性能を維持することが示された。