[論文レビュー] Phase Transitions for High Dimensional Clustering and Related Problems

Jiashun Jin, Zheng Tracy Ke+1 more|arXiv (Cornell University)|Feb 24, 2015

Bayesian Methods and Mixture Models参考文献 40被引用数 10

ひとこと要約

本稿は、スパースでまれ、かつ弱い信号下における高次元クラスタリングの明確なフェーズ遷移境界を確立し、クラスタリングが統計的に可能である領域（可能性領域）と不可能である領域（不可能領域）を特定する。また、重要な特徴量を用いた主成分分析（IF-PCA）を導入し、IF-PCAによる成功したクラスタリングが、選択されたデータ行列の第一左特異ベクトルが漸近的に真のクラスラベルと一致する場合にかつその場合に限り成立することを示す。

ABSTRACT

Consider a two-class clustering problem where we observe $X_i = \ell_i μ+ Z_i$, $Z_i \stackrel{iid}{\sim} N(0, I_p)$, $1 \leq i \leq n$. The feature vector $μ\in R^p$ is unknown but is presumably sparse. The class labels $\ell_i\in\{-1, 1\}$ are also unknown and the main interest is to estimate them. We are interested in the statistical limits. In the two-dimensional phase space calibrating the rarity and strengths of useful features, we find the precise demarcation for the Region of Impossibility and Region of Possibility. In the former, useful features are too rare/weak for successful clustering. In the latter, useful features are strong enough to allow successful clustering. The results are extended to the case of colored noise using Le Cam's idea on comparison of experiments. We also extend the study on statistical limits for clustering to that for signal recovery and that for hypothesis testing. We compare the statistical limits for three problems and expose some interesting insight. We propose classical PCA and Important Features PCA (IF-PCA) for clustering. For a threshold $t > 0$, IF-PCA clusters by applying classical PCA to all columns of $X$ with an $L^2$-norm larger than $t$. We also propose two aggregation methods. For any parameter in the Region of Possibility, some of these methods yield successful clustering. We find an interesting phase transition for IF-PCA. Our results require delicate analysis, especially on post-selection Random Matrix Theory and on lower bound arguments.

研究の動機と目的

• 特徴量が弱くかつ少ない高次元的で、スパースかつまれな信号モデルにおけるクラスタリングの統計的限界を特定すること。
• クラスタリングが不可能な領域と可能である領域を分かつ、明確なフェーズ遷移境界を同定すること。
• 同じ高次元的漸近的設定下で、信号回復およびグローバル仮説検定への分析を拡張すること。
• 古典的PCAと、新規手法である重要な特徴量を用いた主成分分析（IF-PCA）の、選択後推論の文脈における性能を評価すること。
• 計算可能である方法が達成可能な統計的限界と比較することで、計算の実行可能性の閾値を確立すること。

提案手法

• データを $X_i = \ell_i \mu + Z_i$ としてモデル化し、$Z_i \sim N(0, I_p)$、$\ell_i \in \{-1,1\}$ は独立同一分布のラベル、$\mu \in \mathbb{R}^p$ はスパースな平均ベクトルである。
• 信号のまれさ（$p^{-q}$）と信号強度（$\tau_p$）をパラメータとする2次元のフェーズ空間を定義し、$q$ と $\tau_p$ が漸近的挙動を支配する。
• 重要な特徴量を用いた主成分分析（IF-PCA）手法を提案：$X$ の列の $L^2$-ノルムが閾値 $t > 0$ を上回るものを選択し、その後第一左特異ベクトルを用いてクラスタリングを行う。
• Le Camの実験比較理論を用いて、独立同一分布のノイズから彩色ノイズモデルへの結果の拡張を実施する。
• 選択後ランダム行列理論を用い、選択されたデータの第一特異ベクトルと真のラベルベクトル $\ell$ のコサイン類似度を分析する。
• 特に $\chi^2$ および正規分布の尾部確率の挙動を分析するために、$L^1$-距離と集中不等式を用いて下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 $(q, \tau_p)$-平面上での、クラスタリングが統計的に不可能な領域と可能である領域を分かつ、明確なフェーズ遷移境界は何か？
• RQ2 IF-PCAが真のクラスラベルを的確に回復する条件は何か？また、その性能は閾値 $t$ にどのように依存するか？
• RQ3 まれ・弱い信号の設定下で、クラスタリングの統計的限界は、信号回復およびグローバル仮説検定の限界と比較してどう異なるか？
• RQ4 独立同一分布のノイズから、既知の共分散構造を持つ一般のガウスノイズへのフェーズ遷移境界の拡張は可能か？
• RQ5 信号がスパースかつ弱い場合、特徴量選択はクラスタリング性能の向上に果たす役割は何か？

主な発見

• クラスタリングの可能性領域は $\sqrt{q} + \tau_p > \sqrt{2 \log p}$ で特徴づけられ、この境界を超えるとクラスタリングが統計的に可能である。
• IF-PCAでは、$\cos(\xi^{(t)}, \ell) \to 1$ が $n, p \to \infty$ の下で成り立つような閾値 $t > 0$ が存在する場合に限り、クラスタリングが成功する。これはまさに可能性領域内で成立する。
• 不可能領域では、すべての $t > 0$ に対して $\cos(\xi^{(t)}, \ell) \leq c_0 < 1$ が成り立つため、いかなる閾値の選択でも一貫したクラスタリングが得られない。
• 本稿では、クラスタリング性能の下界がタイトであることを確立し、帰無仮説下で $\pi_0 \sim \bar{\Phi}(t)(1 + L_p n^{-1/2})$、$r > q$ のとき $\pi_1$ が $p$ に関して指数的に減少することを示す。
• 信号回復とグローバル仮説検定は、クラスタリングと同一のフェーズ遷移境界を持つことが判明し、高次元的設定下で3つの問題が統計的に同値であることを示している。
• 分析により、古典的PCAはまれ・弱い設定下で失敗するが、IF-PCAは信号強度とスパarsityがフェーズ遷移境界を超えると成功することが明らかになった。