[論文レビュー] Influential Feature PCA for high dimensional clustering

Jiashun Jin, Wanjie Wang|arXiv (Cornell University)|Jul 20, 2014

Sparse and Compressive Sensing Techniques参考文献 47被引用数 7

ひとこと要約

本稿では、$ p \gg n $ である高次元データに対するチューニングフリーなクラスタリング手法である Influential Features PCA (IF-PCA) を提案する。特徴量のうちコルモゴロフ＝スミルノフ（KS）スコアが最も高いものを選択し、選択後データを正規化した上で、主成分分析（PCA）を適用し、最初の $ K-1 $ 個の特異ベクトルに対して k-means を適用する。本手法はクラスタリングの一貫性を達成し、既存手法を上回り、遺伝子マイクロアレイデータセットでは誤差率を最大71%まで低減する。

ABSTRACT

We consider a clustering problem where we observe feature vectors $X_i \in R^p$, $i = 1, 2, \ldots, n$, from $K$ possible classes. The class labels are unknown and the main interest is to estimate them. We are primarily interested in the modern regime of $p \gg n$, where classical clustering methods face challenges. We propose Influential Features PCA (IF-PCA) as a new clustering procedure. In IF-PCA, we select a small fraction of features with the largest Kolmogorov-Smirnov (KS) scores, where the threshold is chosen by adapting the recent notion of Higher Criticism, obtain the first $(K-1)$ left singular vectors of the post-selection normalized data matrix, and then estimate the labels by applying the classical k-means to these singular vectors. It can be seen that IF-PCA is a tuning free clustering method. We apply IF-PCA to $10$ gene microarray data sets. The method has competitive performance in clustering. Especially, in three of the data sets, the error rates of IF-PCA are only $29\%$ or less of the error rates by other methods. We have also rediscovered a phenomenon on empirical null by \cite{Efron} on microarray data. With delicate analysis, especially post-selection eigen-analysis, we derive tight probability bounds on the Kolmogorov-Smirnov statistics and show that IF-PCA yields clustering consistency in a broad context. The clustering problem is connected to the problems of sparse PCA and low-rank matrix recovery, but it is different in important ways. We reveal an interesting phase transition phenomenon associated with these problems and identify the range of interest for each.

研究の動機と目的

• 特徴量の数 $ p $ が標本数 $ n $ より著しく多い、古典的手法が失敗する高次元データのクラスタリング課題に対処すること。
• ノイズに強く、クラスを区別するスパースで影響力のある特徴量を効果的に特定できるクラスタリング手順を開発すること。
• 特に高次元漸近的条件下において、広範な統計的文脈でクラスタリングの一貫性を達成すること。
• Higher Criticism閾値化手法を適応して、手動によるパrameterチューニングが不要なデータ駆動型のチューニングフリーなアプローチを導入すること。
• 実際の遺伝子マイクロアレイデータセットにおいて、既存手法を上回る強力な実験的性能を示すこと、複数のベンチマークでその有効性を検証すること。

提案手法

• クラス固有の平均間のコルモゴロフ＝スミルノフ（KS）検定統計量が最大となる特徴量を選択し、クラスタリングに最も有用な特徴量を同定する。
• 選択された特徴量を、標本全体で平均が0、分散が1になるように正規化し、縮小されたデータ行列を構築する。
• 標準的なPCAを正規化されたデータ行列に適用し、主成分として最初の $ K-1 $ 個の左特異ベクトルを抽出する。これらは主要なクラスタリング構造を捉える。
• 最初の $ K-1 $ 個の特異ベクトルに対して古典的なk-meansクラスタリングを実行し、クラスラベルを推定する。
• Higher Criticism統計量に基づくデータ駆動型の閾値を特徴量選択に用い、手動によるチューニングの必要性を排除する。
• 選択後スペクトル解析と固有値の境界を活用し、スパarsityと高次元漸近的条件下での理論的クラスタリング一貫性を確立する。

実験結果

リサーチクエスチョン

• RQ1 コルモゴロフ＝スミルノフ統計量に基づく特徴量選択法は、高次元クラスタリングにおいて最も情報量の多い特徴量を効果的に同定できるか？
• RQ2 Higher Criticismによる閾値選択を用いたチューニングフリーなアプローチは、$ p \gg n $ の設定において競争力のあるクラスタリング性能を示せるか？
• RQ3 特徴量選択と選択後PCAを組み合わせた場合のクラスタリング一貫性に関する理論的保証は何か？
• RQ4 既知の真のラベルを持つ実際の遺伝子マイクロアレイデータセットにおいて、IF-PCAは既存のクラスタリング手法と比べてどのように性能を発揮するか？
• RQ5 本手法は、マイクロアレイデータに見られる典型的なノーマル分布（empirical null distribution）のような現象を明らかにするか、再現できるか？

主な発見

• 10個の遺伝子マイクロアレイデータセットにおいて、IF-PCAは競争力あるクラスタリング性能を示し、3つのデータセットでは他の手法と比較して誤差率が29%以下にまで低減した。
• 本手法はエフロン（2004）が述べた「実験的ノーマル分布」現象を効果的に再発見し、微弱な信号構造への感受性を裏付けた。
• 理論的分析により、広範な高次元モデルクラスにおいてクラスタリングの一貫性が確立され、選択後固有値のタイトな確率的境界が得られた。
• IF-PCAは信号強度とスパarsityに依存するクラスタリング性能のフェーズ遷移を示すことが判明し、解析的に特徴づけられた。
• Higher Criticismによるデータ駆動型閾値化により、チューニングなしに最適な特徴量選択が可能となり、IF-PCAは完全に自動化された手法となった。
• 選択後スペクトル解析により、正規化されたデータ行列の最初の $ K-1 $ 個の特異ベクトルが、一貫性のあるクラスタリングに十分な情報を保持していることが明らかになった。