[논문 리뷰] A convex integer programming approach for optimal sparse PCA

Santanu S. Dey, Rahul Mazumder외 1명|arXiv (Cornell University)|2018. 10. 22.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 9

한 줄 요약

이 논문은 공분산 행렬이 최대 2000×2000인 경우에 대해 해의 품질과 확장성 면에서 기존의 정수형프로그래밍(SDP) 근사보다 뛰어난 성능을 보이며, near-optimal 해를 달성하고 강력한 이중 경계를 제공하는 희소 주성분 분석(SPCA)을 위한 볼록 정수계획법(IP) 프레임워크를 제안한다. 이는 최적성 증명서를 이중 경계를 통해 제공한다.

ABSTRACT

Principal component analysis (PCA) is one of the most widely used dimensionality reduction tools in scientific data analysis. The PCA direction, given by the leading eigenvector of a covariance matrix, is a linear combination of all features with nonzero loadings---this impedes interpretability. Sparse principal component analysis (SPCA) is a framework that enhances interpretability by incorporating an additional sparsity requirement in the feature weights (factor loadings) while finding a direction that explains the maximal variation in the data. However, unlike PCA, the optimization problem associated with the SPCA problem is NP-hard. While many heuristic algorithms based on variants of the power method are used to obtain good solutions, they do not provide certificates of optimality on the solution-quality via associated dual bounds. Dual bounds are available via standard semidefinite programming (SDP) based relaxations, which may not be tight and the SDPs are difficult to scale using off-the-shelf solvers. In this paper, we present a convex integer programming (IP) framework to solve the SPCA problem to near-optimality, with an emphasis on deriving associated dual bounds. We present worst-case results on the quality of the dual bound provided by the convex IP. We empirically observe that the dual bounds are significantly better than worst-case performance, and are superior to the SDP bounds on some real-life instances. Moreover, solving the convex IP model using commercial IP solvers appears to scale much better that solving the SDP-relaxation using commercial solvers. To the best of our knowledge, we obtain the best dual bounds for real and artificial instances for SPCA problems involving covariance matrices of size up to $2000 imes 2000$.

연구 동기 및 목표

• 히우리틱한 SPCA 방법에서의 최적성 증명서 부족 문제를 해결하기 위해 볼록 IP 설정을 통해 이중 경계를 제공한다.
• 대규모 SPCA 문제에 대해 기존의 정수형프로그래밍(SDP) 근사의 확장성 한계를 극복한다.
• 희소 주성분 분석을 위한 near-optimal 해와 증명 가능한 경계를 제공하는 볼록 IP 모델을 개발한다.
• 실제 및 인위적 인스턴스에서 볼록 IP 프레임워크의 이중 경계가 기존의 표준 SDP 근사보다 더 낫다는 것을 경험적으로 입증한다.
• 공분산 행렬 크기가 2000×2000 이하인 SPCA 문제에서 이 프레임워크가 최신 기술 수준의 이중 경계 품질을 확립한다.

제안 방법

• 요소 부하에 대한 희소성 조건을 강제하기 위해 이진 변수를 도입하여 희소 주성분 분석 문제를 볼록 혼합정수계획법으로 공식화한다.
• 비볼록 희소 주성분 분석 문제의 볼록 근사를 사용하여 상업적 IP 솔버를 통해 효율적인 해를 도출한다.
• 정수계획법의 이중성 이론을 활용해 이중 경계를 유도함으로써 해 품질의 증명서를 제공한다.
• 원래의 비볼록 문제를 강력한 이중성 성질을 유지하는 볼록 IP 모형으로 변환하기 위해 재구성 기법을 적용한다.
• 상업적 최적화 솔버를 활용해 볼록 IP 모형을 효율적으로 해결함으로써 기존의 SDP 솔버를 뛰어넘는 확장성을 달성한다.
• 실제 및 인위적 데이터셋을 대상으로 접근법을 검증하여 SDP 기반 방법과의 이중 경계 및 해 시간을 비교한다.

실험 결과

연구 질문

• RQ1 볼록 정수계획법 설정이 기존의 정수형프로그래밍(SDP) 근사보다 희소 주성분 분석에 대해 더 낫거나 강력한 이중 경계를 제공할 수 있는가?
• RQ2 대규모 SPCA 문제에 대해 볼록 IP 접근법의 확장성은 SDP 기반 방법과 비교해 어떻게 되는가?
• RQ3 볼록 IP 프레임워크는 희소 주성분 분석에서 near-optimality를 얼마나 잘 달성하면서도 이중 경계를 제공하는가?
• RQ4 제안된 방법은 증명 가능한 보장을 갖춘 해 품질 측면에서 기존의 히우리틱 알고리즘을 뛰어넘는가?
• RQ5 공분산 행렬 크기가 2000×2000 이하인 경우 볼록 IP 모형은 상업적 솔버를 효과적으로 활용해 해결할 수 있는가?

주요 결과

• 볼록 IP 프레임워크는 최악의 이론적 기대치를 훨씬 뛰어나게 더 나은 이중 경계를 제공하며, 특히 실제 세계 및 인위적 인스턴스에서 두드러진다.
• 몇몇 실제 SPCA 인스턴스에서 볼록 IP 접근법의 이중 경계는 표준 SDP 근사보다 뛰어나다.
• 대규모 행렬에 대해 상업적 IP 솔버를 사용한 볼록 IP 모형은 상업적 SDP 솔버를 사용한 SDP 근사보다 훨씬 더 우수한 확장성을 보인다.
• 공분산 행렬 크기가 2000×2000 이하인 경우, 제안된 방법은 문헌상 SPCA 문제에서 가장 뛰어난 이중 경계를 달성한다.
• 이 방법은 최적해에 근접한 해를 제공하며, 이중 경계를 통해 해 품질의 증명서를 제공함으로써 히우리틱 SPCA 알고리즘의 핵심 한계를 극복한다.