[논문 리뷰] An Extension of Fast Iterative Shrinkage-thresholding to Riemannian Optimization for Sparse Principal Component Analysis

Wen Huang, Ke Wei|arXiv (Cornell University)|2019. 09. 12.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 4

한 줄 요약

이 논문은 FISTA 알고리즘을 리만 기하학 최적화로 확장하여 희소 주성분 분석(sparse PCA)에 적용하며, 재시작 기법과 대각 예조건화를 통합한 가속화된 리만 보정 경사하강법을 제안한다. 이 방법은 대규모 희소 PCA 문제, 특히 최대 96,000개의 변수를 포함한 데이터셋에서도 빠른 수렴 속도와 뛰어난 계산 효율성을 확보하면서 해의 정규직교성과 희소성을 유지한다.

ABSTRACT

Sparse principal component analysis (PCA), an important variant of PCA, attempts to find sparse loading vectors when conducting dimension reduction. This paper considers the nonsmooth Riemannian optimization problem associated with the ScoTLASS model for sparse PCA which can impose orthogonality and sparsity simultaneously. A Riemannian proximal method is proposed in the work of Chen et al. for the efficient solution of this optimization problem. In this paper, two acceleration schemes are introduced. First and foremost, we extend the FISTA method from the Euclidean space to the Riemannian manifold to solve sparse PCA, leading to the accelerated Riemannian proximal gradient method. Since the Riemannian optimization problem for sparse PCA is essentially non-convex, a restarting technique is adopted to stabilize the accelerated method without sacrificing the fast convergence. Second, a diagonal preconditioner is proposed for the Riemannian proximal subproblem which can further accelerate the convergence of the Riemannian proximal methods. Numerical evaluations establish the computational advantages of the proposed methods over the existing proximal gradient methods on a manifold. Additionally, a short result concerning the convergence of the Riemannian subgradients of a sequence is established, which, together with the result in the work of Chen et al., can show the stationary point convergence of the Riemannian proximal methods.

연구 동기 및 목표

• 희소성과 직교성 제약 조건을 동시에 갖는 비연속, 비볼록 리만 최적화 문제를 해결하는 데 도전한다.
• 기본 리만 보정 경사하강법의 느린 수렴 문제를 FISTA 유사 기법을 활용한 알고리즘 가속화로 극복한다.
• 리만 보정 하위문제에 대해 대각 예조건자를 도입하여 계산 효율을 향상시킨다.
• 재시작 전략과 리만 하위기울기 이론적 분석을 융합하여 정류점 수렴을 보장한다.
• 합성 및 실세계 데이터셋, 특히 대규모 문제에서 제안된 방법의 실용적 우수성을 입증한다.

제안 방법

• 유사구면 공간에서 FISTA 알고리즘을 리만 다양체로 확장하여 가속화된 리만 보정 경사하강법(AManPG)을 도출한다.
• 비볼록 리만 문제에서 가속화된 방법의 안정성을 확보하기 위해 재시작 기법을 도입하며, 수렴 속도에 영향을 주지 않는다.
• 지역 곡률에 적응하여 수렴 속도를 향상시키기 위해 리만 보정 하위문제에 대해 대각 예조건자를 제안한다.
• 희소 PCA 문제를 스티엘렐 맨골드 위의 비연속 최적화 문제로 공식화한다: $-\|AX\|_{\mathrm{F}}^2 + \lambda\|X\|_1$ 을 최소화하며 $X^T X = I_p$ 를 만족시킨다.
• Chen 등 [CMSZ20]의 리만 보정 경사하강 프레임워크를 기반으로 하되, 가속화 및 예조건화를 추가로 통합한다.
• 최적화 과정에서 반복값이 스티엘렐 맨골드 위에 유지되도록 재구성 및 벡터 이송 연산을 사용한다.

실험 결과

연구 질문

• RQ1 비볼록, 비연속 문제에 대해 FISTA 가속화 기법을 리만 최적화로 성공적으로 일반화할 수 있는가?
• RQ2 재시작과 가속화의 조합이 리만 희소 PCA에서 수렴 안정성과 수렴 속도를 어떻게 향상시키는가?
• RQ3 대각 예조건화가 희소 PCA에서 리만 보정 방법의 수렴 속도에 어느 정도 기여하는가?
• RQ4 제안된 방법이 주어진 문제 구조 하에서 정류점 수렴을 달성하는가?
• RQ5 대규모 희소 PCA 문제에서 문제 크기(n, m, p) 증가에 따라 가속화된 방법의 계산 성능는 어떻게 스케일링되는가?

주요 결과

• 제안된 AManPG-D 방법은 $n=96,000$, $m=1,280$, $p=16$ 인 희소 PCA 문제를 약 29.32초 내에 해결하며, 높은 희소성(0.76)과 분산 유지율(0.60)을 확보한다.
• 가장 큰 문제 크기에서 AManPG-D는 55회 반복 내에 해를 도출하며, 하위기울기 노름이 $1.55 \times 10^{-2}$ 로 나타나 근사 정류점으로 수렴한 것으로 확인된다.
• 다양한 문제 크기에서 기존의 다양체 상 보정 경사하강법보다 계산 효율성이 뛰어나게 성능을 뛰어넘는다.
• 수치 결과는 알고리즘이 정규직교 성분 행렬을 유지하면서도 데이터 분산의 높은 비율을 유지함을 확인하며, GPower 방법과 유사한 성능을 보인다.
• 리만 하위기울기의 수렴은 엄밀히 정당화되어 정류점 수렴의 이론적 기반을 강화한다.
• 대각 예조건자가 특히 고차원 환경에서 수렴 속도를 크게 향상시키며, 대규모 문제에서 반복 횟수 감소와 실행 시간 단축을 통해 그 효과가 뚜렷하게 드러난다.