[논문 리뷰] Solving Large-Scale Sparse PCA to Certifiable (Near) Optimality

Dimitris Bertsimas, Ryan Cory-Wright외 1명|London Business School Research Online (London Business School)|2020. 05. 11.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 11

한 줄 요약

이 논문은 큰 규모의 희소 주성분 분석(sparse PCA) 문제를 정확한(근사 최적의) 해에 도달할 수 있도록, 볼록 혼합정수반정형계획문제(MISDO)로 재구성함으로써 컷플레인 방법을 제안한다. $k=5$ 특징을 $p=300$ 변수에서 정확한 최적성을 확보하며, 더 큰 문제에 대해서도 작은 최적성 갭을 제공한다. 빠른 볼록 완화와 탐욕적 라운딩 기법을 통해 $p=1000$일 때 분석 시간이 분 단위로 1–2% 이내의 갭을 달성한다. 이 방법은 금융, 의학, 고차원 데이터 분석 분야에서 해석 가능하고 실용적인 주성분을 가능하게 한다.

ABSTRACT

Sparse principal component analysis (PCA) is a popular dimensionality reduction technique for obtaining principal components which are linear combinations of a small subset of the original features. Existing approaches cannot supply certifiably optimal principal components with more than $p=100s$ of variables. By reformulating sparse PCA as a convex mixed-integer semidefinite optimization problem, we design a cutting-plane method which solves the problem to certifiable optimality at the scale of selecting k=5 covariates from p=300 variables, and provides small bound gaps at a larger scale. We also propose a convex relaxation and greedy rounding scheme that provides bound gaps of $1-2\%$ in practice within minutes for $p=100$s or hours for $p=1,000$s and is therefore a viable alternative to the exact method at scale. Using real-world financial and medical datasets, we illustrate our approach's ability to derive interpretable principal components tractably at scale.

연구 동기 및 목표

• 특히 $p > 100$ 변수에 대해 스케일링된 환경에서 확실한 최적해를 갖는 희소 주성분 분석 솔루션의 부족을 해결한다.
• 최적성 보장을 갖지 못하고 종종 최적해를 회복하지 못하는 히우리스틱 방법의 한계를 극복한다.
• 대규모 희소 주성분 분석 문제에 대해 확실한 최적성 갭을 제공하는 확장 가능한 정확한 방법을 개발한다.
• 분석 시간이 분 단위로 $p=1000$에서 1–2% 이내의 최적성 갭을 달성하는 빠르고 실용적인 완화 및 라운딩 기법을 설계한다.
• 의료 진단, 금융, 단백질 접힘 등 실제 응용 분야에서 해석 가능한 차원 축소를 가능하게 한다.

제안 방법

• 정확한 전역 최적화를 가능하게 하기 위해 희소 주성분 분석을 볼록 혼합정수반정형계획문제(MISDO)로 재구성한다.
• 유효한 컷을 추가함으로써 이중 완화를 반복적으로 강화하는 컷플레인 방법을 개발하여 최적값에 대한 하한을 향상시킨다.
• 비음수 비율 조정된 대각지배 행렬을 통해 완전 양의 행렬의 콘의 볼록 완화를 사용하여 희소 주성분 분석 문제를 효율적으로 근사한다.
• 완화된 해에 탐욕적 라운딩 기법을 적용하여 최적성 갭이 작은 탐색 가능한 희소 주성분을 생성한다.
• Ky-Fan 정리와 반정형계획문제 이중성의 원리를 활용하여 강력한 이중 하한을 유도하고 컷플레인 알고리즘을 이끌어낸다.
• 적절한 MISDO 공식화를 통해 직사각형 행렬과 공통 또는 별개의 지지집합을 가진 다중 주성분으로 이 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 특히 $p=300$ 이상의 경우에 대규모 희소 주성분 분석을 확실한 최적성으로 해결할 수 있는가?
• RQ2 제안된 컷플레인 방법이 대규모 희소 주성분 분석 문제의 최적성 갭을 얼마나 효과적으로 줄이는가?
• RQ3 빠른 볼록 완화와 라운딩 기법이 $p=1000$에서 분석 시간이 분 단위로 1–2% 이내의 근사 최적해를 달성할 수 있는가?
• RQ4 해결 품질과 신뢰성 측면에서 기존 히우리스틱 방법과 비교해 볼 때 이 방법은 어떠한가?
• RQ5 이 프레임워크는 다중 주성분 및 직사각형 행렬 공식화로 얼마나 넓게 확장될 수 있는가?

주요 결과

• 컷플레인 방법은 $p=300$ 변수에서 선택된 $k=5$ 특징에 대해 확실한 최적성을 달성한다.
• 더 큰 문제에 대해서는 작은 최적성 갭을 제공하여 이전 정확한 방법의 한계를 뛰어넘는 실용적 확장성을 보여준다.
• 볼록 완화와 탐욕적 라운딩 기법은 $p=100$에서는 분 단위, $p=1000$에서는 시간 단위 내에 1–2% 이내의 최적성 갭을 달성한다.
• 실제 금융 및 의료 데이터 세트에 대해 이 방법은 해석 가능한 주성분을 성공적으로 도출하여 실용적 유용성을 검증한다.
• 공통 또는 별개의 지지집합을 가진 다중 주성분으로의 일반화가 가능하며, 확장성과 최적성 보장을 유지한다.
• 해결 가능한 범위를 넘어서는 하위최적해를 감지하지 못하는 위험 없이, 히우리스틱 대안보다 더 나은 성능을 보인다.