[논문 리뷰] Exact and Approximation Algorithms for Sparse PCA

Yongchun Li, Weijun Xie|arXiv (Cornell University)|2020. 08. 28.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 6

한 줄 요약

이 논문은 스펙트럼 분해와 고유값 성질을 활용하여 카디널리티 제약 조건 $||\mathbf{x}||_0 = k$ 를 엄격히 이행하는 두 가지 정확한 혼합정수 2차원 원뿔 프로그래밍(MISDP)을 제안하며, 이는 이전 방법들보다 더 강력한 연속적 타협 경계를 제공한다. 또한 고정밀도 MILP 근사 모델을 도입하고, 탐욕 알고리즘과 국소 탐색 알고리즘의 엄밀한 근사 비율을 증명하여, 스퍼스 PCA 및 R1-SSVD와 공정 PCA로의 확장에 대해 확장 가능하고 최적의 해를 도출할 수 있다.

ABSTRACT

Sparse PCA (SPCA) is a fundamental model in machine learning and data analytics, which has witnessed a variety of application areas such as finance, manufacturing, biology, healthcare. To select a prespecified-size principal submatrix from a covariance matrix to maximize its largest eigenvalue for the better interpretability purpose, SPCA advances the conventional PCA with both feature selection and dimensionality reduction. This paper proposes two exact mixed-integer SDPs (MISDPs) by exploiting the spectral decomposition of the covariance matrix and the properties of the largest eigenvalues. We then analyze the theoretical optimality gaps of their continuous relaxation values and prove that they are stronger than that of the state-of-art one. We further show that the continuous relaxations of two MISDPs can be recast as saddle point problems without involving semi-definite cones, and thus can be effectively solved by first-order methods such as the subgradient method. Since off-the-shelf solvers, in general, have difficulty in solving MISDPs, we approximate SPCA with arbitrary accuracy by a mixed-integer linear program (MILP) of a similar size as MISDPs. To be more scalable, we also analyze greedy and local search algorithms, prove their first-known approximation ratios, and show that the approximation ratios are tight. Our numerical study demonstrates that the continuous relaxation values of the proposed MISDPs are quite close to optimality, the proposed MILP model can solve small and medium-size instances to optimality, and the approximation algorithms work very well for all the instances. Finally, we extend the analyses to Rank-one Sparse SVD (R1-SSVD) with non-symmetric matrices and Sparse Fair PCA (SFPCA) when there are multiple covariance matrices, each corresponding to a protected group.

연구 동기 및 목표

• 카디널리티 제약 조건 $||\mathbf{x}||_0 = k$ 를 엄격히 이행하는 스퍼스 PCA에 대한 정확한 방법의 부족을 해결하기 위해.
• 기존의 준선형계획법(SDP) 타협 방식보다 더 강력한 연속적 타협 경계를 스퍼스 PCA에 대해 개발하기 위해.
• 대규모 스퍼스 PCA에 대해 증명 가능하고 근사 비율이 보장된 확장 가능한 근사 알고리즘을 설계하기 위해.
• 단일 랭크 스퍼스 SVD(R1-SSVD)와 다수의 그룹 공분산 행렬을 가진 스퍼스 공정 PCA(SFPCA)로의 프레임워크 확장을 위해.
• 최적의 SPCA 해를 임의의 정밀도로 근사하는 실용적이고 솔버 우호적인 MILP 모델을 제공하기 위해.

제안 방법

• 스펙트럼 분해와 최대 고유값 성질을 활용하여 SPCA에 대한 두 가지 새로운 정확한 혼합정수 준선형원뿔프로그램(MISDP)을 수립한다.
• MISDP의 연속적 타협 경계를 강화하기 위해 두 가지 강력한 콘형 타당 불등식을 유도한다.
• MISDP의 연속적 타협을 준선형원뿔구조를 포함하지 않는 사다리꼴 문제로 재구성하여, 일阶 하향법을 이용한 해법이 가능하도록 한다.
• 최적의 SPCA 해를 임의의 정밀도로 근사하는 혼합정수선형계획법(MILP)을 제안하며, Gurobi와 같은 표준 솔버로도 해석이 가능하도록 한다.
• MISDP의 연속적 타협 값들을 활용하여 MILP 모델의 크기를 추가로 축소한다.
• 스퍼스 PCA에 대해 탐욕 알고리즘과 국소 탐색 알고리즘을 설계하며, 이들의 근사 비율을 증명 가능하게 하고, 단일 랭크 행렬 타협 및 공정성 제약 조건을 활용하여 R1-SSVD와 SFPCA로의 확장을 수행한다.

실험 결과

연구 질문

• RQ1 카디널리티 제약 조건 $||\mathbf{x}||_0 = k$ 를 엄격히 이행하는 스퍼스 PCA에 대해 정확한 혼합정수 준선형원뿔프로그램(MISDP)을 구성할 수 있는가?
• RQ2 제안된 MISDP의 연속적 타협 경계는 기존의 SDP 타협 방식과 비교해 최적성 갭 측면에서 어떻게 다른가?
• RQ3 MISDP의 연속적 타협은 준선형원뿔을 포함하지 않고 효율적으로 해결할 수 있는가? 그리고 달성 가능한 수렴 속도는 어떠한가?
• RQ4 스퍼스 PCA에 대한 탐욕 알고리즘과 국소 탐색 알고리즘의 근사 비율은 무엇이며, 이들의 경계는 엄밀한가?
• RQ5 제안된 프레임워크는 다수의 그룹 공분산 행렬을 가진 R1-SSVD와 스퍼스 공정 PCA로 확장될 수 있는가? 그리고 타협이 정확한 조건은 무엇인가?

주요 결과

• 제안된 MISDP의 연속적 타협 값은 최신 기술의 SDP 타협 방식보다 엄밀히 더 강력하며, 증명 가능한 더 좁은 최적성 갭을 제공한다.
• MISDP의 연속적 타협은 하향법을 이용해 해석 가능한 사다리꼴 문제로 재구성할 수 있으며, $O(1/T)$ 수렴 속도를 달성할 수 있다.
• 하향법에서의 투영 오ракulum은 2차원 원뿔프로그램으로 축소되어, 준선형원뿔구조 솔버가 필요 없이 계산적으로 구현 가능하다.
• 제안된 MILP 모델은 최적의 SPCA 해를 임의의 정밀도로 근사할 수 있으며, 소형 및 중형 크기의 인스턴스에 대해 최적해를 도출할 수 있다.
• 탐욕 알고리즘과 국소 탐색 알고리즘은 스퍼스 PCA에 대해 처음으로 근사 비율을 확보하였으며, 이들의 경계가 엄밀함을 증명하였다.
• 공정성 제약 조건이 있는 스퍼스 공정 PCA에서 $s=2$ 그룹인 경우, 제안된 MISDP 수식은 정확하다; $s>2$인 경우, 낮은 랭크 해를 통해 타당한 상한을 제공한다.