[논문 리뷰] Eigenvectors from Eigenvalues Sparse Principal Component Analysis (EESPCA)

H. Robert Frost|PubMed|2020. 06. 02.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 고유벡터-고유값 항등식을 활용하여 희소 주성분 분석을 효율적으로 계산하는 새로운 방법 EESPCA를 소개한다. 이 방법은 기존의 SPC, TPower, rifle와 비교해 최대 10배 빠른 계산 속도를 기록하며, 상태의 최고 수준의 희소성 추정 정확도를 확보하면서도, 외부 표본 복원 및 주성분 추정 오차도 매우 낮게 유지한다.

ABSTRACT

We present a novel technique for sparse principal component analysis. This method, named Eigenvectors from Eigenvalues Sparse Principal Component Analysis (EESPCA), is based on the formula for computing squared eigenvector loadings of a Hermitian matrix from the eigenvalues of the full matrix and associated sub-matrices. We explore two versions of the EESPCA method: a version that uses a fixed threshold for inducing sparsity and a version that selects the threshold via cross-validation. Relative to the state-of-the-art sparse PCA methods of Witten et al., Yuan & Zhang and Tan et al., the fixed threshold EESPCA technique offers an order-of-magnitude improvement in computational speed, does not require estimation of tuning parameters via cross-validation, and can more accurately identify true zero principal component loadings across a range of data matrix sizes and covariance structures. Importantly, the EESPCA method achieves these benefits while maintaining out-of-sample reconstruction error and PC estimation error close to the lowest error generated by all evaluated approaches. EESPCA is a practical and effective technique for sparse PCA with particular relevance to computationally demanding statistical problems such as the analysis of high-dimensional data sets or application of statistical techniques like resampling that involve the repeated calculation of sparse PCs.

연구 동기 및 목표

• 주성분에서 0이 되는 로딩을 정확하게 식별할 수 있는 계산 효율성이 뛰어난 희소 주성분 분석 방법을 개발하는 것.
• 특히 고차원 또는 재표본 추출이 빈번한 환경에서 기존의 희소 주성분 분석 기법들이 가지는 높은 계산 비용을 해결하는 것.
• 조정 파rameter를 튜닝하기 위해 시간이 오래 걸리는 교차검증에 의존하지 않고도 희소성 추정 정확도를 향상시키는 것.
• TPower와 같은 최고 성능을 보이는 방법들과 비교해도 낮은 외부 표본 복원 오차 및 주성분 추정 오차를 유지하는 것.
• 속도와 희소성이 핵심인 대규모 게놈 및 고차원 데이터 분석에 실용적인 대안을 제공하는 것.

제안 방법

• EESPCA는 전체 행렬과 그의 부분행렬의 고유값만으로 제곱 고유벡터 로딩을 계산하기 위해 고유벡터-고유값 항등식을 활용한다.
• 희소성 유도를 위해 고정된 임계값 $1/\sqrt{p}$ 가 적용된다.
• 외부 표본 복원 오차를 최소화하기 위해 교차검증을 통해 희소성 임계값을 선택하는 대안 버전인 EESPCA.cv가 존재한다.
• 반복 최적화나 조정 파rameter 추정을 피하고, 분석적 고유값 기반 로딩에 의존한다.
• 표본 공분산 행렬의 고유구조에서 직접 희소 로딩을 계산함으로써 빠른 계산이 가능해진다.
• 최근 Denton 등 (2021)에 의해 재발견된 항등식에 기반하여, 고유값만으로 정확한 제곱 로딩을 계산할 수 있다.

실험 결과

연구 질문

• RQ1 고유벡터-고유값 항등식을 효과적으로 활용하여 더 빠르고 정확한 희소 주성분 분석 방법을 만들 수 있는가?
• RQ2 다양한 데이터 구조에서 SPC, TPower, rifle와 같은 최첨단 방법들과 비교했을 때 EESPCA의 희소성 추정 정확도는 어떠한가?
• RQ3 EESPCA에서 고정 임계값과 교차검증을 사용했을 때의 희소성 설정에서 계산 속도와 추정 정확도 사이의 상충 관계는 어떠한가?
• RQ4 기존 방법들과 비교했을 때 EESPCA의 외부 표본 복원 오차 및 주성분 추정 오차는 어떠한가?
• RQ5 고차원 또는 재표본 추출이 빈번한 환경에서 EESPCA는 다른 희소 주성분 분석 방법보다 어떤 상황에서 뛰어난 성능을 보이는가?

주요 결과

• EESPCA는 SPC, TPower, rifle와 비교해 계산 속도에서 한 계단 높은 성능을 보이며, 대규모 또는 반복 분석에 매우 적합하다.
• 고정 임계값 기반의 EESPCA 방법은 다양한 데이터 크기와 공분산 구조에서 SPC, TPower, rifle보다 진짜 0 로딩을 더 정확하게 식별한다.
• EESPCA는 TPower가 이 분야에서 가장 우수한 성능을 보였던 바와 유사하게 외부 표본 복원 오차 및 주성분 추정 오차를 낮게 유지한다.
• 희소성이 제한적인 경우(즉, 50% 미만의 0 로딩을 가질 경우), EESPCA의 성능은 심각하게 떨어지지만, EESPCA.cv는 TPower와 유사한 성능을 보인다.
• 계산 속도가 핵심이며 상당한 희소성이 기대되는 경우, EESPCA는 EESPCA.cv, SPC, SPC.1se, TPower, rifle보다 우선 선택할 만하다.
• 최소한의 추정 오차를 우선시하고 속도가 제약이 되지 않는 경우, TPower는 여전히 전체적으로 가장 뛰어난 성능을 보이는 방법이다.