[논문 리뷰] Sparse PCA With Multiple Components

Ryan Cory-Wright, Jean Pauphilet|arXiv (Cornell University)|2022. 09. 29.

Sparse and Compressive Sensing Techniques인용 수 8

한 줄 요약

이 논문은 다중 성분을 갖는 희소 주성분 분석(sparse PCA)을 위한 세 가지 새로운 알고리즘을 제안하며, 직교성과 근사 최적의 분산 설명을 보장한다. 준정수 프로그래밍 이완, 라그랑주 분해, 조합적 상한값을 결합하여 특성 수 천 개가 넘는 데이터셋에서 분석 결과가 최적에 근접한 해를 분석 시간 내에 도출한다. 이는 기존의 정규화 기반 방법들과는 달리 직교성 제약을 위반하지 않는다.

ABSTRACT

Sparse Principal Component Analysis (sPCA) is a cardinal technique for obtaining combinations of features, or principal components (PCs), that explain the variance of high-dimensional datasets in an interpretable manner. This involves solving a sparsity and orthogonality constrained convex maximization problem, which is extremely computationally challenging. Most existing works address sparse PCA via methods-such as iteratively computing one sparse PC and deflating the covariance matrix-that do not guarantee the orthogonality, let alone the optimality, of the resulting solution when we seek multiple mutually orthogonal PCs. We challenge this status by reformulating the orthogonality conditions as rank constraints and optimizing over the sparsity and rank constraints simultaneously. We design tight semidefinite relaxations to supply high-quality upper bounds, which we strengthen via additional second-order cone inequalities when each PC's individual sparsity is specified. Further, we derive a combinatorial upper bound on the maximum amount of variance explained as a function of the support. We exploit these relaxations and bounds to propose exact methods and rounding mechanisms that, together, obtain solutions with a bound gap on the order of 0%-15% for real-world datasets with p = 100s or 1000s of features and r \in {2, 3} components. Numerically, our algorithms match (and sometimes surpass) the best performing methods in terms of fraction of variance explained and systematically return PCs that are sparse and orthogonal. In contrast, we find that existing methods like deflation return solutions that violate the orthogonality constraints, even when the data is generated according to sparse orthogonal PCs. Altogether, our approach solves sparse PCA problems with multiple components to certifiable (near) optimality in a practically tractable fashion.

연구 동기 및 목표

• r > 1일 때 동시에 희소성과 상호직교성을 만족시키며 최적성 보장을 제공하는 방법의 부족을 해결하기 위해.
• 희소성 제약을 적용할 경우 직교성 보존에 실패하고 최적성도 확보하지 못하는 정규화 기반 접근법의 한계를 극복하기 위해.
• 희소 PCA 문제를 다중 성분으로 해결하는 실용적이고 해석 가능한 알고리즘을 개발하여 증명 가능한 근사 최적의 해를 도출하기 위해.
• 다양한 이완 및 반올림 전략을 통해 날카운 상한값과 고품질의 타당해를 제공하기 위해.
• 기존 최첨단 방법들과 비교하여 분산 설명 능력과 제약 조건 이행 능력 측면에서 뛰어난 성능을 실증적으로 입증하기 위해.

제안 방법

• 희소성 및 직교성 제약 조건을 갖는 비凸, 비연속 최적화 문제로 다중 성분 희소 PCA를 재구성한다.
• 직교성 조건을 질량 조건으로 재구성하고, 두 번째 차수 원형 부등식을 추가하여 강화함으로써 날카운 준정수 이완을 개발한다.
• 직교성 위반에 대한 벌점 부과를 통해 순차적 단일 성분 희소 PCA 문제로 해를 구할 수 있도록 라그랑주 분해 접근법을 제안한다.
• 주어진 지원 패턴에 대해 혼합정수선형계획법을 활용하여 새로운 조합적 상한값을 도입함으로써, 이완-반올림 기반의 해법을 가능하게 한다.
• 가장 날카운 상한값(준정수 이완에서 유도)을 사용하여 상한 갭을 계산하고 근사 최적성의 증명을 수행한다.
• 하이브리드 전략을 활용: 세 알고리즘 전반에서 가장 우수한 상한값과 가장 우수한 타당해를 조합하여 고품질의 출력을 보장한다.

실험 결과

연구 질문

• RQ1 정규화 기반 방법들과 달리 직교성과 근사 최적성을 보장하는 다중 성분 희소 PCA를 위한 방법을 개발할 수 있는가?
• RQ2 임의의 희소 상호직교 성분 조합이 설명할 수 있는 분산에 대해 가장 날카운 가능한 상한값은 무엇인가?
• RQ3 일련의 성분을 순차적으로 최적화하는 대신, 동시에 다수의 희소 및 직교 성분을 최적화할 수 있는 실용적인 알고리즘을 어떻게 설계할 수 있는가?
• RQ4 p = 1000개 이상, r ∈ {2,3} 조건에서 실제 데이터셋에서 상한 갭을 3% 이하로 낮출 수 있는가?
• RQ5 기존 방법들과 비교해 본 결과, 제안된 방법의 성능은 분산 설명 능력과 제약 조건 이행 측면에서 어떻게 나타나는가?

주요 결과

• kr ≤ p 조건을 만족하는 UCI 데이터셋에서 평균 상한 갭이 3.11%이며, kr > p 조건일 경우 2.82%로 나타나 근사 최적의 해를 도출함을 확인하였다.
• 알고리즘 3은 kr ≤ p 조건에서 평균 상한 갭 3.11%로 증명 가능한 근사 최적의 해를 제공하며, 알고리즘 2는 kr > p 조건에서 2.82%의 상한 갭을 기록하였다.
• 세 알고리즘 모두 희소하고 직교적인 주성분을 반환하는 반면, 정규화 기반 방법들은 데이터가 희소 직교 주성분에서 유래된 경우조차도 직교성 위반을 보였다.
• 모든 방법 중 최고의 해는 실제 데이터셋에서 분산 설명 능력 측면에서 기존 방법들을 능가했으며, 이는 실증적으로 확인되었다.
• p = 1000개 이상의 데이터셋에서 평균적으로 100초 이내에 실행되어 실용적인 해석 가능성과 실행 가능성의 증거를 제공한다.
• 대칭적 희소성(k_t = k/r)을 적용할 경우 실행 시간이 약 10배 증가하지만 분산 설명 능력 향상 평균 약 2%에 그쳐, 희소성 설계의 상호 보완적 특성을 보여준다.