[논문 리뷰] Sparse Principal Components Analysis

Iain M. Johnstone, Arthur Yu Lu|ArXiv.org|2009. 01. 28.

Blind Source Separation Techniques참고 문헌 16인용 수 161

한 줄 요약

이 논문은 변수 수 $ p $가 표본 크기 $ n $ 와 유사하거나 그 이상일 때 표준 주성분 분석(PCA)의 일관성 문제를 해결하기 위해 희소 주성분 분석(SPCA)을 제안한다. 표본 분산이 가장 큰 좌표의 작은 부분집합을 사전 선택함으로써 희소 기저(예: 웨이브릿)에서 차원을 감소시키고, $ p \gg n $ 인 경우에도 일관된 주성분 추정을 회복할 수 있으며, 이는 희소성 가정 하에 이론적 보장이 있다.

ABSTRACT

Principal components analysis (PCA) is a classical method for the reduction of dimensionality of data in the form of n observations (or cases) of a vector with p variables. For a simple model of factor analysis type, it is proved that ordinary PCA can produce a consistent (for n large) estimate of the principal factor if and only if p(n) is asymptotically of smaller order than n. There may be a basis in which typical signals have sparse representations: most co-ordinates have small signal energies. If such a basis (e.g. wavelets) is used to represent the signals, then the variation in many coordinates is likely to be small. Consequently, we study a simple "sparse PCA" algorithm: select a subset of coordinates of largest variance, estimate eigenvectors from PCA on the selected subset, threshold and reexpress in the original basis. We illustrate the algorithm on some exercise ECG data, and prove that in a single factor model, under an appropriate sparsity assumption, it yields consistent estimates of the principal factor.

연구 동기 및 목표

• 변수 수 $ p $가 표본 크기 $ n $ 와 유사하거나 그 이상일 때 표준 PCA의 불일관성 문제를 해결한다.
• PCA 이전에 정보가 많은 변수의 작은 부분집합을 사전 선택하면 추정 일관성이 향상됨을 보여준다.
• 희소 신호 표현을 가진 기저(예: 웨이브릿)에서 작업하면 주성분을 일관되게 복원할 수 있음을 보여준다.
• 계산 효율성이 높은 알고리즘을 개발하여 PCA의 복잡도를 $ O(p^3) $ 에서 $ O(k^3) $ 으로 감소시키며, 여기서 $ k \ll p $ 이다.
• 희소성 및 노이즈 모델 하에서 SPCA가 일관된 추정치를 제공함을 이론적으로 정당화한다.

제안 방법

• 신호가 희소한 계수를 가지는 희소 기저(예: 웨이브릿)로 데이터를 변환한다.
• 변환된 계수의 표본 분산을 사례 간에 계산하고, 분산이 가장 큰 $ k $ 개의 좌표를 선택한다.
• 선택된 $ k $ 개의 좌표에 대해서만 표준 PCA를 수행함으로써 계산 비용을 $ O(k^3) $ 으로 감소시킨다.
• 결과로 얻은 고유벡터에 소프트 또는 하드 스레시홀딩을 적용하여 노이즈를 제거한다.
• 노이즈 제거된 고유벡터를 다시 원래의 신호 도메인으로 변환한다.
• 점근적 분석과 농도 부등식을 사용하여, 희소성 및 노이즈 가정 하에서 일관성을 확립한다.

실험 결과

연구 질문

• RQ1 표본 크기 $ n $ 과 유사하거나 그 이상일 때 $ p \gg n $ 인 조건에서 표준 PCA가 주성분을 일관되게 추정하지 못하는 조건은 무엇인가?
• RQ2 희소 기저에서 변수의 작은 부분집합을 사전 선택하면 고차원 PCA에서 일관성이 회복될 수 있는가?
• RQ3 기저 선택(예: 웨이브릿)이 PCA의 일관성과 계산 효율성에 어떤 영향을 미치는가?
• RQ4 희소성 및 노이즈 조건 하에서 희소 PCA 추정기의 이론적 수렴 속도는 무엇인가?
• RQ5 신호가 알려진 기저에서 희소할 경우, 이 방법이 진짜 주성분을 복원할 수 있는가?

주요 결과

• 표본 크기 $ n $ 에 대해 $ p(n) \geq cn $ 이면 표준 PCA는 불일관성이 발생한다. 고차원성으로 인해 노이즈 최댓값이 진짜 신호를 지배하기 때문이다.
• 진짜 신호가 선택된 기저에서 희소할 경우, SPCA는 $ p(n) \gg n $ 인 경우에도 일관성을 회복한다.
• 알고리즘은 희소 기저에서 표본 분산이 가장 큰 $ k $ 개의 좌표를 선택함으로써 효과적 차원을 감소시키고 일관된 추정을 달성한다.
• 이론적 분석 결과, 희소성 및 노이즈 조건 하에서 추정 오차 $ \|\hat{\rho}_{I} - \rho_{I}\| \to 0 $ 이 거의 확실히 $ n \to \infty $ 일 때 성립한다.
• 계산 비용을 $ O(p^3) $ 에서 $ O(k^3) $ 으로 감소시키며, 여기서 $ k \ll \min(n,p) $ 이므로 확장성이 향상된다.
• Borel-Cantelli 추론과 농도 부등식을 통해 선택된 집합 $ \hat{I} $ 가 점점 더 높은 확률로 진짜 신호의 지지집합을 포함함을 확인한다.