[논문 리뷰] An Augmented Lagrangian Approach for Sparse Principal Component Analysis

Zhaosong Lu, Yong Zhang|ArXiv.org|2009. 07. 13.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 희소성, 거의 상관 없음, 직교성의 부하 벡터를 유지하면서도 설명 분산을 최대화하는 새로운 희소 PCA 공식을 제안한다. 비단조화 경사 하강법을 사용한 보완 라그랑주 방법을 도입하여 전역 수렴을 달성하고, 합성, 무작위, 실세계 데이터에서 기존 방법보다 설명 분산, 낮은 상관관계, 직교성 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Principal component analysis (PCA) is a widely used technique for data analysis and dimension reduction with numerous applications in science and engineering. However, the standard PCA suffers from the fact that the principal components (PCs) are usually linear combinations of all the original variables, and it is thus often difficult to interpret the PCs. To alleviate this drawback, various sparse PCA approaches were proposed in literature [15, 6, 17, 28, 8, 25, 18, 7, 16]. Despite success in achieving sparsity, some important properties enjoyed by the standard PCA are lost in these methods such as uncorrelation of PCs and orthogonality of loading vectors. Also, the total explained variance that they attempt to maximize can be too optimistic. In this paper we propose a new formulation for sparse PCA, aiming at finding sparse and nearly uncorrelated PCs with orthogonal loading vectors while explaining as much of the total variance as possible. We also develop a novel augmented Lagrangian method for solving a class of nonsmooth constrained optimization problems, which is well suited for our formulation of sparse PCA. We show that it converges to a feasible point, and moreover under some regularity assumptions, it converges to a stationary point. Additionally, we propose two nonmonotone gradient methods for solving the augmented Lagrangian subproblems, and establish their global and local convergence. Finally, we compare our sparse PCA approach with several existing methods on synthetic, random, and real data, respectively. The computational results demonstrate that the sparse PCs produced by our approach substantially outperform those by other methods in terms of total explained variance, correlation of PCs, and orthogonality of loading vectors.

연구 동기 및 목표

• 표준 PCA에서 모든 변수의 밀집된 선형 조합으로 구성된 주성분이 해석하기 어려운 문제를 해결하기 위해.
• 표준 PCA의 핵심 성질을 유지하는 희소 PCA 방법을 개발하기 위해: 상관 없는 주성분, 직교 부하 벡터, 최대 설명 분산.
• 기존 희소 PCA 방법이 직교성, 상관 없음, 또는 분산 최대화를 희생시키는 한계를 극복하기 위해.
• 비부드럽고 제약 조건이 있는 희소 PCA 문제를 위한 전역 수렴 최적화 프레임워크를 설계하기 위해.

제안 방법

• 부하 벡터의 희소성을 강제하면서도 총 설명 분산을 최대화하고 주성분의 거의 상관 없음과 직교성을 유지하는 새로운 희소 PCA 공식을 제안한다.
• 희소 PCA 공식에서 발생하는 비부드러운 제약 조건이 있는 최적화 문제의 클래스를 해결하기 위한 새로운 보완 라그랑주 방법을 개발한다.
• 보완 라그랑주 방법이 약한 정규성 가정 하에 타당한 점으로 전역 수렴하고, 정류점으로 국소 수렴함을 입증한다.
• 보완 라그랑주 보조 문제를 해결하기 위한 두 가지 비단조화 경사 방법을 도입하며, 전역 및 국소 수렴이 보장된다.
• 희소 PCA 문제의 비부드러움과 비볼록성을 다루기 위해 보완 라그랑주 쌍대 함수를 사용한다.
• 재구성된 희소 PCA 문제(식 3)를 해결하기 위해 방법을 적용한다. 이는 희소성, 직교성, 분산 최대화를 균형 있게 조절한다.

실험 결과

연구 질문

• RQ1 희소성과 높은 설명 분산을 달성하면서도 부하 벡터의 직교성과 주성분의 거의 상관 없음을 유지할 수 있는 희소 PCA 공식을 설계할 수 있는가?
• RQ2 제안된 보완 라그랑주 방법이 비부드럽고 비볼록인 희소 PCA 문제에 대해 전역적으로 타당한 해로 수렴하는가?
• RQ3 비단조화 경사 방법이 수렴이 보장되는 보완 라그랑주 보조 문제를 효과적으로 해결할 수 있는가?
• RQ4 진짜 공분산 구조가 희소하고 잘 추정된 경우, 제안된 방법이 희소하고 상관 없는 주성분을 효과적으로 복원할 수 있는가?
• RQ5 희소성, 상관관계, 직교성, 설명 분산 측면에서 기존의 희소 PCA 기법과 비교해 볼 때 제안된 방법은 어떠한가?

주요 결과

• 제안된 ALSPCA 방법은 Pitprops 데이터에서 SPCA(66.21%), rSVD(67.04%), DSPCA(60.97%), GPower $l_1$(64.15%)보다 훨씬 높은 총 설명 분산(69.55%)을 달성한다.
• ALSPCA는 거의 상관 없는 주성분을 생성하여 상관계수 0.082(ALSPCA-1)를 기록하며, SPCA(0.395)와 DSPCA(0.573)보다 훨씬 낮다.
• 부하 벡터의 직교성이 비-직교성 값이 0.03으로 매우 낮게 유지되며, rSVD(14.76)와 DSPCA(13.63)에 비해 뛰어나다.
• ALSPCA-3는 완벽한 직교성(비-직교성 = 0.00)을 달성하면서도 높은 설명 분산(65.97%)과 낮은 상관계수(0.222)를 유지한다.
• 약한 가정 하에 타당한 점으로 전역 수렴하고 정류점으로 국소 수렴함을 입증하여 강건성과 이론적 타당성을 입증한다.
• 합성, 무작위, 실세계 데이터에 대한 계산 결과는 ALSPCA가 설명 분산, 상관계수, 직교성의 모든 주요 지표에서 기존 방법을 뛰어나게 일관되게 승리함을 확인한다.