[논문 리뷰] Important Feature PCA for high dimensional clustering

Jiashun Jin, Wanjie Wang|arXiv (Cornell University)|2014. 07. 20.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 6

한 줄 요약

이 논문은 높은 차원의 데이터(p ≫ n)를 위한 튜닝이 없는 클러스터링 방법인 중요 특징 주성분 분석(IF-PCA)을 제안한다. 이 방법은 높은 차원에서의 신뢰도를 높이기 위해 Higher Criticism에 적응한 임계값을 사용하여 콜모고로프-스미르노프(KS) 점수를 가장 높게 받은 특징을 선택하고, 정규화된 선택 후 데이터 행렬의 첫 (K−1)개 왼쪽 특이벡터에 k-means를 적용한다. IF-PCA는 클러스터링 일致성을 확보하며, 세 개의 유전자 마이크로어레이 데이터셋에서 다른 방법들 대비 오차율을 29% 이하로 줄이는 경쟁력 있는 성능을 보인다.

ABSTRACT

We consider a clustering problem where we observe feature vectors Xi ∈ R, i = 1, 2, . . . , n, from K possible classes. The class labels are unknown and the main interest is to estimate them. We are primarily interested in the modern regime of p n, where classical clustering methods face challenges. We propose Important Features PCA (IF-PCA) as a new clustering procedure. In IFPCA, we select a small fraction of features with the largest Kolmogorov-Smirnov (KS) scores, where the threshold is chosen by adapting the recent notion of Higher Criticism, obtain the first (K − 1) left singular vectors of the post-selection normalized data matrix, and then estimate the labels by applying the classical k-means to these singular vectors. It can be seen that IF-PCA is a tuning free clustering method. We apply IF-PCA to 10 gene microarray data sets. The method has competitive performance in clustering. Especially, in three of the data sets, the error rates of IF-PCA are only 29% or less of the error rates by other methods. We have also rediscovered a phenomenon on empirical null by [16] on microarray data. With delicate analysis, especially post-selection eigen-analysis, we derive tight probability bounds on the Kolmogorov-Smirnov statistics and show that IF-PCA yields clustering consistency in a broad context. The clustering problem is connected to the problems of sparse PCA and low-rank matrix recovery, but it is different in important ways. We reveal an interesting phase transition phenomenon associated with these problems and identify the range of interest for each.

연구 동기 및 목표

• 고전적 방법이 실패하는 높은 차원의 데이터(p ≫ n) 클러스터링 문제를 해결하기 위해.
• 튜닝 파rameter가 없는 강건하고 적응적인 클러스터링 절차를 개발하기 위해.
• 높은 차원 점점 증가하는 점근적 조건 하에서 클러스터링 일치성에 대한 이론적 보장을 수립하기 위해.
• 클러스터링, 희소 주성분 분석, 낮은 질서 행렬 복원 문제에서의 단계 전이 현상을 규명하기 위해.
• 엄밀한 선택 후 고유분석을 통해 마이크로어레이 데이터에서 관찰된 경험적 근본 현상을 재발견하고 분석하기 위해.

제안 방법

• 유의미한 특징을 식별하기 위해 콜모고로프-스미르노프(KS) 검정 점수가 가장 높은 소수의 특징을 선택한다.
• 약한 신호를 탐지하기 위해 Higher Criticism 방법을 적응적으로 변형하여 특징 선택의 임계값을 결정한다.
• 선택된 특징을 정규화하여 선택 후 데이터 행렬을 구성한다.
• 정규화된 선택 후 행렬의 첫 (K−1)개 왼쪽 특이벡터를 계산한다.
• 기본적인 k-means 클러스터링을 (K−1)개 특이벡터에 적용하여 클래스 레이블을 추정한다.
• 선택 후 고유분석을 사용하여 KS 통계량에 대한 날카운 확률 경계를 유도하고 이론적 일치성을 확보한다.

실험 결과

연구 질문

• RQ1 p ≫ n 조건에서 높은 차원 클러스터링에서 어떻게 정보가 많은 특징을 효과적으로 식별할 수 있는가?
• RQ2 약한 신호가 존재하는 높은 차원 환경에서 클러스터링 일치성에 대한 이론적 보장은 무엇인가?
• RQ3 실제 유전자 마이크로어레이 데이터에서 IF-PCA는 다른 방법들에 비해 오차율 측면에서 어떻게 비교되는가?
• RQ4 클러스터링, 희소 주성분 분석, 낮은 질서 행렬 복원 문제에서 존재하는 단계 전이 현상은 무엇이며, 상호 관련성은 어떻게 되는가?
• RQ5 마이크로어레이 데이터에서 관찰된 경험적 근본 현상은 엄밀한 선택 후 분석을 통해 어떻게 엄밀하게 설명할 수 있는가?

주요 결과

• IF-PCA는 선택 후 KS 통계량에 대한 날카운 확률 경계를 통해 넓은 조건 하에서 클러스터링 일치성을 달성한다.
• 세 개의 유전자 마이크로어레이 데이터셋에서 IF-PCA는 다른 방법들이 내보내는 오차율의 29% 이하로 줄였다.
• 이 방법은 튜닝이 없으며, 오직 KS 점수와 Higher Criticism를 통해 임계값을 선택한다.
• 클러스터링, 희소 주성분 분석, 낮은 질서 행렬 복원 문제에서의 가능 영역을 구분하는 단계 전이 현상이 밝혀졌다.
• 선택 후 고유분석을 통해 마이크로어레이 데이터에서 관찰된 경험적 근본 현상이 확인되고 설명되었다.
• 이론적 분석은 p ≫ n 조건에서도 IF-PCA가 강력한 유한 표본 성능을 유지함을 보여준다.