[논문 리뷰] Phase Transitions for High Dimensional Clustering and Related Problems

Jiashun Jin, Zheng Tracy Ke외 1명|arXiv (Cornell University)|2015. 02. 24.

Bayesian Methods and Mixture Models참고 문헌 40인용 수 10

한 줄 요약

이 논문은 희박하고 드문, 약한 신호 하에서 고차원 클러스터링의 정밀한 단계 전이 경계를 규명하며, 클러스터링이 통계적으로 가능할 수 있는 영역과 불가능한 영역을 식별한다. 또한 중요한 특징 주성분 분석(If-PCA)을 제안하고, If-PCA를 통한 성공적인 클러스터링이 발생하는 조건은 후선별된 데이터 행렬의 첫 번째 왼쪽 특이벡터가 渐진적으로 진짜 클래스 레이블과 일치할 때임을 보여준다.

ABSTRACT

Consider a two-class clustering problem where we observe $X_i = \ell_i μ+ Z_i$, $Z_i \stackrel{iid}{\sim} N(0, I_p)$, $1 \leq i \leq n$. The feature vector $μ\in R^p$ is unknown but is presumably sparse. The class labels $\ell_i\in\{-1, 1\}$ are also unknown and the main interest is to estimate them. We are interested in the statistical limits. In the two-dimensional phase space calibrating the rarity and strengths of useful features, we find the precise demarcation for the Region of Impossibility and Region of Possibility. In the former, useful features are too rare/weak for successful clustering. In the latter, useful features are strong enough to allow successful clustering. The results are extended to the case of colored noise using Le Cam's idea on comparison of experiments. We also extend the study on statistical limits for clustering to that for signal recovery and that for hypothesis testing. We compare the statistical limits for three problems and expose some interesting insight. We propose classical PCA and Important Features PCA (IF-PCA) for clustering. For a threshold $t > 0$, IF-PCA clusters by applying classical PCA to all columns of $X$ with an $L^2$-norm larger than $t$. We also propose two aggregation methods. For any parameter in the Region of Possibility, some of these methods yield successful clustering. We find an interesting phase transition for IF-PCA. Our results require delicate analysis, especially on post-selection Random Matrix Theory and on lower bound arguments.

연구 동기 및 목표

• 특징이 약하고 소수일 때 고차원, 희박, 드문 신호 모델에서의 클러스터링에 대한 통계적 한계를 규명하는 것.
• 클러스터링이 불가능한 영역과 가능성이 있는 영역을 분리하는 정밀한 단계 전이 경계를 규명하는 것.
• 동일한 고차원 점점 증가하는 점근적 설정 하에서 신호 복원 및 전반적 가설 검정으로 분석을 확장하는 것.
• 후선별 추론의 맥락에서 고전적 PCA와 새로운 방법인 중요한 특징 주성분 분석(If-PCA)의 성능을 평가하는 것.
• 통계적 한계와 계산적으로 실현 가능한 방법이 달성할 수 있는 한계를 비교함으로써 계산의 실현 가능성 임계값을 설정하는 것.

제안 방법

• 데이터를 $X_i = \ell_i \mu + Z_i$로 모델링하며, 여기서 $Z_i \sim N(0, I_p)$, $\ell_i \in \{-1,1\}$은 i.i.d. 레이블이며, $\mu \in \mathbb{R}^p$는 희박한 평균 벡터이다.
• 신호 희귀성($p^{-q}$)과 신호 강도($\tau_p$)로 조정된 이차원 단계 공간을 정의하며, $q$와 $\tau_p$는 점점 증가하는 행동을 지배한다.
• 중요한 특징 주성분 분석(If-PCA) 방법을 제안한다: $X$의 열들 중 $L^2$-노름이 임계값 $t > 0$을 초과하는 것을 대상으로 고전적 PCA를 적용한 후, 첫 번째 왼쪽 특이벡터를 사용해 클러스터링을 수행한다.
• 레 카르의 실험 비교 이론을 사용해 i.i.d. 노이즈에서부터 색조가 있는 노이즈 모델로 결과를 확장한다.
• 후선별된 랜덤 행렬 이론을 활용해 후선별된 데이터의 주요 특이벡터와 진짜 레이블 벡터 $\ell$ 사이의余弦 유사도를 분석한다.
• 특히 $\chi^2$와 정규 꼬리 확률의 꼬리 행동을 분석함으로써 $L^1$-거리와 농도 불등식을 사용해 하한을 유도한다.

실험 결과

연구 질문

• RQ1 클러스터링이 통계적으로 불가능한 영역과 가능성이 있는 영역을 분리하는 정밀한 단계 전이 경계는 $(q, \tau_p)$-평면에서 어떻게 되는가?
• RQ2 If-PCA가 진짜 클래스 레이블을 성공적으로 복원하는 조건은 무엇이며, 그 성능은 임계값 $t$에 어떻게 의존하는가?
• RQ3 희박/약한 신호 모드에서 클러스터링의 통계적 한계가 신호 복원 및 전반적 가설 검정의 한계와 어떻게 비교되는가?
• RQ4 i.i.d. 노이즈에서부터 알려진 공분산 구조를 가진 일반적인 가우시안 노이즈로 단계 전이 경계를 확장할 수 있는가?
• RQ5 신호가 희박하고 약할 경우 특징 선택은 클러스터링 성능 향상에 어떤 역할을 하는가?

주요 결과

• 클러스터링의 가능 영역은 $\sqrt{q} + \tau_p > \sqrt{2 \log p}$로 특징지어지며, 이를 초월하면 클러스터링이 통계적으로 실현 가능하다.
• If-PCA의 경우, 성공적인 클러스터링은 $\cos(\xi^{(t)}, \ell) \to 1$일 때만 발생하며, 이는 정확히 가능 영역 내에서 성립한다.
• 불가능 영역에서는 모든 $t > 0$에 대해 $\cos(\xi^{(t)}, \ell) \leq c_0 < 1$이 성립하므로, 어떤 임계값 선택도 일관된 클러스터링을 도출하지 못한다.
• 논문은 클러스터링 성능의 하한이 날카로운 하한임을 입증하며, 귀무가설 하에서 $\pi_0 \sim \bar{\Phi}(t)(1 + L_p n^{-1/2})$이고, $r > q$일 때 $\pi_1$은 $p$에 대해 지수적으로 감소함을 보였다.
• 신호 복원과 전반적 검정은 클러스터링과 동일한 단계 전이 경계를 공유하므로, 이 고차원 설정에서 세 문제는 통계적으로 동치임을 시사한다.
• 분석 결과 고전적 PCA는 희박/약한 설정에서 실패하는 반면, If-PCA는 신호 강도와 희박성이 단계 전이 임계값을 초과할 경우 성공한다.