[논문 리뷰] Approximation Algorithms for Sparse Principal Component Analysis

Agniva Chowdhury, Petros Drineas외 2명|arXiv (Cornell University)|2020. 06. 23.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 입력 공분산 행렬에 대한 제한적인 가정 없이 증명 가능하게 정확한 다항시간 해를 제공하는 희소 주성분 분석(SPCA)을 위한 두 가지 임계값 기반 근사 알고리즘을 제안한다. 첫 번째 알고리즘은 SVD에 임계값을 적용하여 빠르고 실용적인 성능을 달성한다. 두 번째 알고리즘은 선형계획형 프로그래밍(SDP)과 새로운 이중단계 결정적 임계값 기반 방법을 조합하여 이론적으로 가장 강력한 보장을 제공하며, 이는 실증 결과와 매우 밀접하게 일치한다. 이는 이론과 실천의 격차를 효과적으로 메운다.

ABSTRACT

Principal component analysis (PCA) is a widely used dimension reduction technique in machine learning and multivariate statistics. To improve the interpretability of PCA, various approaches to obtain sparse principal direction loadings have been proposed, which are termed Sparse Principal Component Analysis (SPCA). In this paper, we present thresholding as a provably accurate, polynomial time, approximation algorithm for the SPCA problem, without imposing any restrictive assumptions on the input covariance matrix. Our first thresholding algorithm using the Singular Value Decomposition is conceptually simple; is faster than current state-of-the-art; and performs well in practice. On the negative side, our (novel) theoretical bounds do not accurately predict the strong practical performance of this approach. The second algorithm solves a well-known semidefinite programming relaxation and then uses a novel, two step, deterministic thresholding scheme to compute a sparse principal vector. It works very well in practice and, remarkably, this solid practical performance is accurately predicted by our theoretical bounds, which bridge the theory-practice gap better than current state-of-the-art.

연구 동기 및 목표

• 입력 공분산 행렬에 대한 제한적인 가정 없이 효율적이고 증명 가능하게 정확한 SPCA 근사 알고리즘을 개발하는 것.
• 이론적 경계가 실제 성능을 정확히 예측하는 알고리즘을 설계하여 SPCA에서 이론과 실천의 격차를 해소하는 것.
• 간단하고 빠른 SVD 기반 임계값 기반 접근을 통해 런타임 대 정확도의 트레이드오프를 제공하는 것.
• SDP 완화에 새로운 이중단계 결정적 임계값 기반 방법을 도입하여 SPCA의 이론적 보장을 향상시키는 것.
• 이러한 방법의 적용 범위를 희소 커널 PCA로 확장하는 것.

제안 방법

• 첫 번째 알고리즘인 spca-svd는 입력 공분산 행렬 A의 SVD를 통해 확보한 최상위 특이벡터에 대해 임계값을 적용하여, 증명 가능한 근사 보장을 갖는 희소 벡터를 생성한다.
• 두 번째 알고리즘인 spca-sdp는 알려진 SPCA 문제의 선형계획형 프로그래밍(SDP) 완화 문제를 해결한 후, 이중단계 결정적 임계값 처리 과정을 적용하여 희소 주성분을 추출한다.
• 이론적 분석은 입력 행렬 A의 스펙트럼에서 유도된 상수 α와 β에 따라 근사 오차를 경계한다. 이 상수들은 실제 데이터셋에서 항상 1에 매우 가까운 것으로 관측된다.
• 알고리즘은 단위 노름 제약 조건 하에 레일리 몫 xᵀAx를 최대화하면서도 희소성(‖x‖₀ ≤ k)을 유지하도록 설계되어 있다.
• 특이값 분해의 성질과 SDP 완화의 구조를 이용한 이론적 경계가 유도되어 다항시간 복잡도를 보장한다.
• 커널 행렬에 동일한 임계값 프레임워크를 적용하여 이 방법을 희소 커널 PCA로 확장한다.

실험 결과

연구 질문

• RQ1 입력 공분산 행렬에 대한 제한적인 가정 없이, 임계값을 증명 가능하게 정확한 다항시간 근사 알고리즘으로 사용할 수 있는가?
• RQ2 왜 SVD 기반 임계값 접근 방식(spca-svd)은 이론적 경계가 약한 데도 불구하고 실무에서 뛰어난 성능을 보이는가?
• RQ3 SDP 완화에 새로운 이중단계 결정적 임계값 기반 방법이 이론적 보장과 실질적 성능 예측 능력 양쪽을 모두 향상시킬 수 있는가?
• RQ4 실제로 spca-svd, spca-lowrank, spca-sdp의 이론적 경계는 어떻게 비교되며, 특히 이론과 실천의 격차 측면에서 어떻게 다를까?
• RQ5 제안된 알고리즘들이 최적의 희소 주성분 벡터 x*의 지지 집합을 근사적으로 복원할 수 있는가, 아니면 단지 최적의 값 Z*만 복원하는가?

주요 결과

• spca-svd 알고리즘은 빠른 런타임과 뛰어난 실용적 성능를 달성하지만, 이론적 경계는 정확도를 예측하지 못하며 이는 심각한 이론-실천 격차를 드러낸다.
• SDP 완화에 이중단계 임계값을 적용한 spca-sdp 알고리즘은 이론적 경계가 항상 1에 매우 가까워지며, 이는 고도로 정확한 실증 성능을 정확히 예측한다.
• 실제 데이터셋인 HGDP/HapMap 및 유전자 발현 데이터에서 이론적 경계에 포함된 상수 α와 β는 매우 1에 가까워지며, 이는 spca-sdp의 뛰어난 성능를 설명한다.
• spca-svd의 이론적 경계는 낮은 희소성 수준에서 의미 없게(음수로) 유지되는 반면, spca-sdp의 경계는 모든 테스트된 희소성 수준에서 양수이자 타이트하게 유지된다.
• 스펙트럼이 잘 조절된 경우, spca-sdp 알고리즘은 spca-svd와 spca-lowrank를 모두 이론적 정확도 보장 측면에서 능가한다.
• 실증 결과에 따르면, spca-sdp의 이론적 경계는 실질적인 정확도 비율과 거의 구분되지 않으며, 이는 이론-실천 격차를 효과적으로 해소했다.