[论文解读] An Extension of FISTA to Riemannian Optimization for Sparse PCA

Wen Huang, Ke Wei|arXiv (Cornell University)|Sep 12, 2019

Sparse and Compressive Sensing Techniques参考文献 34被引用 10

一句话总结

该论文将FISTA算法扩展至黎曼优化以实现稀疏PCA，提出一种带有重启技术与对角预条件的加速黎曼近端梯度方法。该方法在流形上的现有近端方法中实现了更快的收敛速度与更优的性能，且理论证明了其收敛至驻点。

ABSTRACT

Sparse PCA, an important variant of PCA, attempts to find sparse loading vectors when conducting dimension reduction. This paper considers the nonsmooth Riemannian optimization problem associated with the ScoTLASS model for sparse PCA which can impose orthogonality and sparsity simultaneously. A Riemannian proximal method is proposed in the work of Chen et al. for the efficient solution of this optimization problem. In this paper, two acceleration schemes are introduced. First and foremost, we extend the FISTA method from the Euclidean space to the Riemannian manifold to solve sparse PCA, leading to the accelerated Riemannian proximal gradient method. Since the Riemannian optimization problem for sparse PCA is essentially non-convex, a restarting technique is adopted to stabilize the accelerated method without sacrificing the fast convergence. Second, a diagonal preconditioner is proposed for the Riemannian proximal subproblem which can further accelerate the convergence of the Riemannian proximal methods. Numerical evaluations establish the computational advantages of the proposed methods over the existing proximal gradient methods on a manifold. Additionally, a short result concerning the convergence of the Riemannian subgradients of a sequence is established, which, together with the result in the work of Chen et al., can show the stationary point convergence of the Riemannian proximal methods.

研究动机与目标

• 为解决稀疏PCA中同时具有稀疏性与正交性约束的非光滑、非凸黎曼优化问题。
• 将FISTA算法从欧氏空间扩展至黎曼流形，以实现稀疏PCA优化中的更快收敛。
• 通过应用于黎曼近端子问题的对角预条件器，提升收敛速度。
• 通过适用于非凸黎曼问题的重启技术，稳定加速方法。
• 利用次梯度分析，建立黎曼近端方法收敛至驻点的理论结果。

提出的方法

• 通过将FISTA扩展至黎曼流形，提出一种加速黎曼近端梯度方法，利用黎曼几何在Stiefel流形上进行优化。
• 引入重启策略，以在非凸设置下稳定加速方法，同时保持快速收敛速率。
• 将对角预条件器应用于黎曼近端子问题，通过适应局部曲率来加速收敛。
• 使用黎曼次梯度并建立其序列的收敛结果，为方法的理论基础提供支持。
• 将黎曼近端方法与加速梯度方案结合，以求解稀疏PCA的ScoTLASS模型。
• 采用基于流形的优化技术，在强制稀疏性的同时保持载荷向量的正交性。

实验结果

研究问题

• RQ1 FISTA加速框架能否成功扩展至稀疏PCA的黎曼优化？
• RQ2 重启技术在非凸黎曼设置下如何提升加速黎曼近端方法的稳定性和收敛性？
• RQ3 对角预条件在稀疏PCA的黎曼近端子问题中在多大程度上提升了收敛速度？
• RQ4 所提方法在黎曼近端框架下是否收敛至驻点？
• RQ5 所提加速技术在计算上与现有流形上的近端梯度方法相比表现如何？

主要发现

• 所提的加速黎曼近端梯度方法在流形上的收敛速度优于现有近端梯度方法。
• 重启技术在非凸黎曼设置下有效稳定了加速方法，且未牺牲收敛速度。
• 对角预条件器通过适应局部几何，显著加速了黎曼近端子问题的求解。
• 理论分析证实了通过黎曼次梯度序列收敛至驻点，补充了Chen等人先前的结果。
• 数值实验表明，该方法在各类测试案例中均表现出一致的计算优势，验证了所提框架的高效性。