[논문 리뷰] High Dimensional Principal Component Scores and Data Visualization

Dan Shen, Haipeng Shen외 2명|arXiv (Cornell University)|2012. 11. 12.

Bayesian Methods and Mixture Models참고 문헌 7인용 수 4

한 줄 요약

이 논문은 차원 수 d → ∞ 이고 표본 크기 n 이 고정된 고차원·저표본 크기(HDLSS) 주어에서 표본 주성분 점수는 모집단 점수의 일致한 추정량이 아니지만, 고유벡터는 일치한다는 역설을 해결한다. 표본 점수와 모집단 점수의 비율이 모든 데이터 포인트에서 동일한 확률변수로 수렴함을 보여주며, 이는 시각화에서 점들의 상대적 위치를 유지함으로써 축 스케일링이 일致하지 않더라도 신뢰할 수 있는 군집 분석 통찰을 가능하게 한다.

ABSTRACT

Principal component analysis is a useful dimension reduction and data visualization method. However, in high dimension, low sample size asymptotic contexts, where the sample size is fixed and the dimension goes to infinity,a paradox has arisen. In particular, despite the useful real data insights commonly obtained from principal component score visualization, these scores are not consistent even when the sample eigen-vectors are consistent. This paradox is resolved by asymptotic study of the ratio between the sample and population principal component scores. In particular, it is seen that this proportion converges to a non-degenerate random variable. The realization is the same for each data point, i.e. there is a common random rescaling, which appears for each eigen-direction. This then gives inconsistent axis labels for the standard scores plot, yet the relative positions of the points (typically the main visual content) are consistent. This paradox disappears when the sample size goes to infinity.

연구 동기 및 목표

• 차원 수 d → ∞ 이고 표본 크기 n 이 고정된 고차원·저표본 크기(HDLSS) 설정에서 주성분 점수의 점근적 행동을 조사하기 위해.
• 표본 고유벡터는 일치하지만 표본 주성분 점수는 모집단 점수의 일치한 추정량이 아니라는 명백한 역설을 해결하기 위해.
• 이러한 일치하지 않는 점수에도 불구하고 주성분 점수를 통한 데이터 시각화가 여전히 효과적인 이유를 이해하기 위해.
• 점수 플롯의 상대적 구조가 과학적 추론에 신뢰할 수 있는 조건을 설정하기 위해.
• HDLSS 환경에서 고유벡터의 일致성과 점수의 일치하지 않는 성질 사이의 차이를 명확히 하기 위해.

제안 방법

• d → ∞ 이고 n 이 고정된 고차원·저표본 크기 점근적 분석을 사용하며, 공분산 구조가 알려진 다변량 정규분포로 데이터를 모델링한다.
• 모집단 주성분 점수 S_j 는 모집단 고유벡터 u_j 에 대한 데이터의 표준화된 투영으로 정의된다.
• 표본 주성분 점수 Ŝ_j 는 표본 고유벡터 ŝ_j 와 고유값 λ̂_j 를 사용하여 정의된다.
• 점수의 일치성 분석을 위해 비율 |Ŝ_{i,j}/S_{i,j}| 를 분석하며, 고유값과 고유벡터 추정의 기여를 분해한다.
• 확률적 한계와 거의 확실히 수렴을 적용하여 비율이 √(n/χ²_n) 분포를 가지는 비퇴화된 확률변수 R_j 로 수렴함을 보인다.
• 코시-슈바르츠 부등식과 고유벡터 간의 각도에 대한 점근적 결과를 사용하여, d → ∞ 일 때 교차항 기여가 확률적으로 소멸함을 보인다.

실험 결과

연구 질문

• RQ1 고차원·저표본 크기 데이터에서 표본 점수가 일치하지 않음에도 불구하고 주성분 점수 플롯이 여전히 시각적으로 유용한 이유는 무엇인가?
• RQ2 HDLSS 환경에서 표본과 모집단 주성분 점수의 비율의 점근적 분포는 무엇인가?
• RQ3 개별 점수의 일치하지 않는 성질이 PCA 플롯에서 군집 패턴의 신뢰성에 영향을 미치는가?
• RQ4 언제 점수의 일치하지 않는 성질가 사라지며, 고유벡터와 점수가 모두 일치하게 되는가?
• RQ5 공통의 랜덤 스케일링 인자로 인해 HDLSS 설정에서 PCA 시각화의 해석은 어떻게 영향을 받는가?

주요 결과

• 표본 점수와 모집단 점수의 비율은 모든 데이터 포인트에서 동일한 비퇴화된 확률변수 R_j 로 확률적으로 수렴하며, 이는 √(n/χ²_n) 분포를 따른다.
• 이 공통의 랜덤 스케일링 인자는 PCA 점수 플롯에서 축 레이블이 일치하지 않게 만들지만, 점들의 상대적 위치는 유지된다.
• 개별 점수의 일치하지 않는 성질에도 불구하고 점수 플롯의 상대적 구조—예를 들어 군집 패턴—은 여전히 신뢰할 수 있고 해석 가능하다.
• 표본 크기 n → ∞ 가 되면 이 역설이 사라지며, 이 조건에서는 고유벡터와 점수가 모두 일치하게 된다.
• 비율의 수렴은 d → ∞ 이고 d/λ_m → 0 인 조건 하에 성립하며, 고유값이 0에서 멀리 떨어져 있음을 가정한다.
• 점근적 행동은 모집단 공분산 행렬의 고유분해와 표본 고유값 및 고유벡터의 점근적 성질을 사용하여 유도된다.