[论文解读] An Extension of Fast Iterative Shrinkage-thresholding to Riemannian Optimization for Sparse Principal Component Analysis

Wen Huang, Ke Wei|arXiv (Cornell University)|Sep 12, 2019

Sparse and Compressive Sensing Techniques参考文献 40被引用 4

一句话总结

本文将 FISTA 算法扩展至黎曼优化，用于稀疏主成分分析（PCA），提出一种带有重启技术与对角预条件的加速黎曼近端梯度方法。该方法在大规模稀疏 PCA 问题上实现了更快的收敛速度与更优的计算效率，包括最多含 96,000 个变量的数据集，同时保持了解的正交性与稀疏性。

ABSTRACT

Sparse principal component analysis (PCA), an important variant of PCA, attempts to find sparse loading vectors when conducting dimension reduction. This paper considers the nonsmooth Riemannian optimization problem associated with the ScoTLASS model for sparse PCA which can impose orthogonality and sparsity simultaneously. A Riemannian proximal method is proposed in the work of Chen et al. for the efficient solution of this optimization problem. In this paper, two acceleration schemes are introduced. First and foremost, we extend the FISTA method from the Euclidean space to the Riemannian manifold to solve sparse PCA, leading to the accelerated Riemannian proximal gradient method. Since the Riemannian optimization problem for sparse PCA is essentially non-convex, a restarting technique is adopted to stabilize the accelerated method without sacrificing the fast convergence. Second, a diagonal preconditioner is proposed for the Riemannian proximal subproblem which can further accelerate the convergence of the Riemannian proximal methods. Numerical evaluations establish the computational advantages of the proposed methods over the existing proximal gradient methods on a manifold. Additionally, a short result concerning the convergence of the Riemannian subgradients of a sequence is established, which, together with the result in the work of Chen et al., can show the stationary point convergence of the Riemannian proximal methods.

研究动机与目标

• 解决稀疏 PCA 中同时具有稀疏性与正交性约束的非光滑、非凸黎曼优化问题的挑战。
• 通过借鉴 FISTA 的技术，加速标准黎曼近端梯度方法，以克服其收敛缓慢的问题。
• 通过为黎曼近端子问题引入对角预条件器，提升计算效率。
• 通过结合重启策略与黎曼次梯度的理论分析，确保收敛至驻点。
• 在合成数据集与真实世界数据集（包括大规模问题）上，展示所提方法的实用性优势。

提出的方法

• 将 FISTA 算法从欧氏空间推广至黎曼流形，得到加速黎曼近端梯度方法（AManPG）。
• 引入重启技术，以在非凸黎曼问题上稳定加速方法，同时不损害收敛速度。
• 为黎曼近端子问题提出对角预条件器，通过适应局部曲率加速收敛。
• 将稀疏 PCA 问题表述为在 Stiefel 流形上的非光滑优化问题：在 $X^T X = I_p$ 约束下最小化 $-\|AX\|_{\mathrm{F}}^2 + \lambda\|X\|_1$。
• 利用 Chen 等人 [CMSZ20] 提出的黎曼近端梯度框架，并通过加速与预条件化进行增强。
• 使用重投影与向量传输操作，在优化过程中保持迭代点位于 Stiefel 流形上。

实验结果

研究问题

• RQ1 FISTA 加速方案能否成功推广至非凸、非光滑的黎曼优化问题？
• RQ2 重启与加速的结合在黎曼稀疏 PCA 中如何提升收敛稳定性和速度？
• RQ3 对角预条件在稀疏 PCA 的黎曼近端方法中在多大程度上提升了收敛速率？
• RQ4 所提方法在给定问题结构下是否能实现驻点收敛？
• RQ5 在大规模稀疏 PCA 问题中，加速方法的计算性能如何随问题规模（n, m, p）变化而扩展？

主要发现

• 所提出的 AManPG-D 方法在 $n=96,000$，$m=1,280$，$p=16$ 的稀疏 PCA 问题上，约在 29.32 秒内求解，达到高稀疏性（0.76）与 60% 的方差保留率。
• AManPG-D 在最大问题规模下以 55 次迭代完成求解，次梯度范数为 $1.55 \times 10^{-2}$，表明已收敛至近似驻点。
• 在多个问题规模下，该方法在计算效率方面优于现有流形上的近端梯度方法。
• 数值结果证实，该算法在保持高比例数据方差的同时，维持了正交的载荷矩阵，其性能与 GPower 方法相当。
• 黎曼次梯度的收敛性得到严格证明，支持了驻点收敛的理论基础。
• 对角预条件器显著加速了收敛，尤其在高维设置下，表现为大规模问题上迭代次数与耗时的显著减少。