[논문 리뷰] Principal component analysis based clustering for high-dimension, low-sample-size data

Kazuyoshi Yata, Makoto Aoshima|arXiv (Cornell University)|2015. 03. 16.

Random Matrices and Applications참고 문헌 17인용 수 4

한 줄 요약

이 논문은 고차원·소표본 크기(HDLSS) 데이터에서 주성분 분석(PCA)을 군집화에 사용하는 데 대한 이론적 기초를 수립한다. 특정 조건 하에서 표본 주성분 점수는 기하학적으로 일관되며, 표본 크기 n이 고정되어 있어도 차원 d → ∞일 때 높은 확률로 데이터를 k개의 군집으로 분류할 수 있음을 보여준다.

ABSTRACT

In this paper, we consider clustering based on principal component analysis (PCA) for high-dimension, low-sample-size (HDLSS) data. We give theoretical reasons why PCA is effective for clustering HDLSS data. First, we derive a geometric representation of HDLSS data taken from a two-class mixture model. With the help of the geometric representation, we give geometric consistency properties of sample principal component scores in the HDLSS context. We develop ideas of the geometric representation and geometric consistency properties to multiclass mixture models. We show that PCA can classify HDLSS data under certain conditions in a surprisingly explicit way. Finally, we demonstrate the performance of the clustering by using microarray data sets.

연구 동기 및 목표

• 고차원·소표본(HDLSS) 데이터 환경에서 PCA를 군집화에 적용하는 데 대한 이론적 근거를 제공하는 것.
• 표본 주성분 점수의 기하학적 행동을 HDLSS 점점 증가하는 차원의 점근적 영역(d → ∞, n 고정)에서 조사하는 것.
• 공분산 행렬이 동일하지 않은 조건에서도 다중군집 혼합 모델 하에서 주성분 점수의 일관성 성질을 수립하는 것.
• 평균과 공분산의 구조에 명시적인 조건을 두었을 때 PCA가 HDLSS 데이터를 효과적으로 분류할 수 있음을 보여주는 것.
• 실제 마이크로어레이 유전자 발현 데이터셋을 사용하여 방법을 검증하는 것.

제안 방법

• 이중군집 혼합 모델에서 HDLSS 데이터의 기하학적 표현을 유도하여, 고차원 공간에서 데이터 포인트가 특정 방향으로 집중됨을 보여준다.
• 약한 모멘트 조건과 혼합 조건 하에서 차원 d가 증가함에 따라 표본 주성분 점수의 기하학적 일관성 성질을 도입한다.
• 기하학적 표현을 다중군집 혼합 모델에 적용하여, 주요 주성분 점수가 점점 증가하는 방향으로 인구 집단을 분리함을 증명한다.
• 전체 공분산 행렬 Σ의 고유분해와 HDLSS 조건 하에서 고유벡터 및 고유값의 점근적 분석을 사용한다.
• 이중군집 설정에서 첫 번째 주성분 방향이 인구 평균 간의 차이와 일치하며, d → ∞일 때 수렴 속도가 nη₁η₂임을 보여준다.
• 노이즈 감소 기법과 점근 이론을 활용하여 비정규, 비독립 동일분포가 아닌 HDLSS 환경에서 주성분 점수와 방향의 일관된 추정기법을 도출한다.

실험 결과

연구 질문

• RQ1 고정된 표본 크기와 증가하는 차원을 가진 HDLSS 데이터에서 PCA가 일관된 군집화를 제공하는 조건은 무엇인가?
• RQ2 d → ∞일 때 고차원 혼합 모델에서 표본 주성분 점수의 기하학적 행동은 어떻게 되는가?
• RQ3 다중군집 HDLSS 혼합 모델에서 주요 주성분 방향이 인구 집단을 일관되게 분리할 수 있는가?
• RQ4 이중군집 HDLSS 설정에서 첫 번째 주성분 점수의 점근적 행동은 무엇이며, 인구 평균 차이와 어떻게 관련되는가?
• RQ5 실제 세계의 HDLSS 데이터, 예를 들어 마이크로어레이 유전자 발현 데이터셋에서 이 방법의 성능은 어떠한가?

주요 결과

• 이중군집 HDLSS 모델에서 첫 번째 주성분 점수가 점점 증가하는 방향으로 두 인구 집단을 분리하며, 정규화된 점수는 d → ∞일 때 확률적으로 1로 수렴한다.
• 조건 1 하에서 주요 주성분 방향은 인구 평균 간의 차이와 일치하며, 주성분 점수가 높은 확률로 인구 분리를 포착한다.
• 다중군집 모델에서는 주요 주성분 점수가 기하학적으로 일관되며, 인구 평균이 충분히 분리되어 있을 경우 데이터를 k개의 군집으로 분류할 수 있다.
• 가장 큰 고유값과 전체 공분산 행렬의 트레이스의 비율은 d → ∞일 때 1로 수렴하여, 인구 간 분산이 지배적임을 나타낸다.
• 인구 공분산 행렬이 서로 다를 때도, 데이터가 정규분포가 아니더라도 이 방법은 일관된 분류를 달성한다.
• 마이크로어레이 데이터에 대한 실증 결과는 PCA 기반 군집화가 HDLSS 환경에서 생물학적으로 의미 있는 군집을 효과적으로 식별함을 보여준다.