[논문 리뷰] An Extension of FISTA to Riemannian Optimization for Sparse PCA

Wen Huang, Ke Wei|arXiv (Cornell University)|2019. 09. 12.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 10

한 줄 요약

이 논문은 FISTA 알고리즘을 리만 최적화에 확장하여 희소 PCA를 위한 가속화된 리만 프록시멀 경사하강법을 제안하며, 재시작 기법과 대각 예조건화를 포함한다. 이 방법은 기존의 다양체 상의 프록시멀 방법보다 더 빠른 수렴 속도와 향상된 성능을 달성하며, 정류점으로의 이론적 수렴이 입증되었다.

ABSTRACT

Sparse PCA, an important variant of PCA, attempts to find sparse loading vectors when conducting dimension reduction. This paper considers the nonsmooth Riemannian optimization problem associated with the ScoTLASS model for sparse PCA which can impose orthogonality and sparsity simultaneously. A Riemannian proximal method is proposed in the work of Chen et al. for the efficient solution of this optimization problem. In this paper, two acceleration schemes are introduced. First and foremost, we extend the FISTA method from the Euclidean space to the Riemannian manifold to solve sparse PCA, leading to the accelerated Riemannian proximal gradient method. Since the Riemannian optimization problem for sparse PCA is essentially non-convex, a restarting technique is adopted to stabilize the accelerated method without sacrificing the fast convergence. Second, a diagonal preconditioner is proposed for the Riemannian proximal subproblem which can further accelerate the convergence of the Riemannian proximal methods. Numerical evaluations establish the computational advantages of the proposed methods over the existing proximal gradient methods on a manifold. Additionally, a short result concerning the convergence of the Riemannian subgradients of a sequence is established, which, together with the result in the work of Chen et al., can show the stationary point convergence of the Riemannian proximal methods.

연구 동기 및 목표

• 동시 희소성과 직교 제약 조건을 가진 희소 PCA에서의 비미분, 비凸 리만 최적화 문제를 해결하는 데 도전한다.
• 유럽 공간에서의 FISTA 알고리즘을 리만 다양체로 확장하여 희소 PCA 최적화에서 더 빠른 수렴을 달성한다.
• 리만 프록시멀 하위문제에 적용된 대각 예조건자를 통해 수렴 속도를 향상시킨다.
• 비凸 리만 문제에 적합한 재시작 기법을 통해 가속화된 방법의 안정성을 확보한다.
• 하향 기울기 분석을 활용하여 리만 프록시멀 방법이 정류점으로 수렴하는 이론적 결과를 확립한다.

제안 방법

• 리만 기하학을 활용하여 스티펠 다양체에서 최적화하기 위해 FISTA를 리만 다양체로 확장함으로써 가속화된 리만 프록시멀 경사하강법을 제안한다.
• 비凸 설정에서 가속화된 방법의 안정성을 확보하기 위해 재시작 전략을 도입하여 수렴 속도를 유지한다.
• 지역 곡률에 적응하기 위해 리만 프록시멀 하위문제에 대각 예조건자를 적용하여 수렴 속도를 가속화한다.
• 리만 하향 기울기와 그 수열의 수렴 결과를 도입하여 방법의 이론적 기반을 강화한다.
• 리만 프록시멀 방법과 가속화된 경사하강 기법을 조합하여 희소 PCA의 ScoTLASS 모델을 해결한다.
• 로딩 벡터의 직교성을 유지하면서 희소성을 강제하기 위해 다양체 기반 최적화 기법을 활용한다.

실험 결과

연구 질문

• RQ1 FISTA 가속화 프레임워크는 희소 PCA를 위한 리만 최적화로 성공적으로 확장될 수 있는가?
• RQ2 재시작은 비凸 리만 프록시멀 방법의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ3 대각 예조건화는 희소 PCA에서 리만 프록시멀 하위문제의 수렴 속도를 어느 정도 향상시키는가?
• RQ4 제안된 방법은 리만 프록시멀 프레임워크 하에서 정류점으로 수렴하는가?
• RQ5 제안된 가속화 기법들은 다양체 상의 기존 프록시멀 경사하강 방법과 비교해 계산적으로 어떻게 성능을 냅니다?

주요 결과

• 제안된 가속화된 리만 프록시멀 경사하강법은 다양체 상의 기존 프록시멀 경사하강법보다 더 빠른 수렴 속도를 달성한다.
• 재시작 기법은 비凸 리만 설정에서 가속화된 방법의 안정성을 효과적으로 확보하면서도 수렴 속도를 손상시키지 않는다.
• 대각 예조건자는 지역 기하학에 적응함으로써 리만 프록시멀 하위문제의 해법을 상당히 가속화한다.
• 이론적 분석을 통해 리만 하향 기울기 수열을 이용한 정류점으로의 수렴을 확인하였으며, Chen 등이 이전에 제시한 결과를 보완한다.
• 수치적 평가 결과, 테스트 케이스 전반에서 일관된 계산적 이점이 입증되어 제안된 프레임워크의 효율성을 검증한다.