[论文解读] Riemannian Stochastic Proximal Gradient Methods for Nonsmooth Optimization over the Stiefel Manifold

Bokun Wang, Shiqian Ma+1 more|arXiv (Cornell University)|May 3, 2020

Stochastic Gradient Optimization Techniques参考文献 35被引用 8

一句话总结

该论文提出了 R-ProxSGD 和 R-ProxSPB，这是针对 Stiefel 流形上非光滑优化的黎曼随机近端梯度方法，将欧氏空间中的近端随机梯度下降（SGD）和 SpiderBoost 推广至黎曼设置。该方法实现了 $\tilde{\text{O}}(\text{poly}(\frac{1}{\rho}))$ 的增量一阶预言机（IFO）复杂度，显著优于在在线稀疏主成分分析和鲁棒低秩矩阵补全任务中使用的黎曼次梯度方法。

ABSTRACT

Riemannian optimization has drawn a lot of attention due to its wide applications in practice. Riemannian stochastic first-order algorithms have been studied in the literature to solve large-scale machine learning problems over Riemannian manifolds. However, most of the existing Riemannian stochastic algorithms require the objective function to be differentiable, and they do not apply to the case where the objective function is nonsmooth. In this paper, we present two Riemannian stochastic proximal gradient methods for minimizing nonsmooth function over the Stiefel manifold. The two methods, named R-ProxSGD and R-ProxSPB, are generalizations of proximal SGD and proximal SpiderBoost in Euclidean setting to the Riemannian setting. Analysis on the incremental first-order oracle (IFO) complexity of the proposed algorithms is provided. Specifically, the R-ProxSPB algorithm finds an $ε$-stationary point with $Ø(ε^{-3})$ IFOs in the online case, and $Ø(n+\sqrt{n}ε^{-2})$ IFOs in the finite-sum case with $n$ being the number of summands in the objective. Experimental results on online sparse PCA and robust low-rank matrix completion show that our proposed methods significantly outperform the existing methods that use Riemannian subgradient information.

研究动机与目标

• 解决在 Stiefel 流形上针对非光滑复合优化缺乏高效随机黎曼算法的问题，其中目标函数因非光滑正则项而不可微。
• 开发不显式计算次梯度的随机近端梯度方法，通过利用黎曼几何与近端算子实现。
• 在在线与有限和设置下，实现寻找 $\rho$-驻点的改进增量一阶预言机（IFO）复杂度。
• 在与黎曼次梯度方法相比的实验中，验证所提方法在在线稀疏主成分分析和鲁棒低秩矩阵补全任务中的优越性。
• 将欧氏空间中的近端随机算法（SGD 和 SpiderBoost）推广至黎曼流形设置，同时保持收敛性保证。

提出的方法

• 提出 R-ProxSGD，一种基于光滑部分 $f$ 的随机梯度估计器和非光滑正则项 $h$ 的近端算子的黎曼随机近端梯度方法。
• 提出 R-ProxSPB，一种 SpiderBoost 的黎曼变体，通过使用方差减少的梯度估计器，提升有限和情形下的 IFO 效率。
• 应用重投影（retraction）和向量传输（vector transport）算子，确保迭代点始终位于 Stiefel 流形 $\text{St}(d,r)$ 上，维持可行性。
• 通过引入 $h$ 的 Moreau-Yosida 正则化实现近端步骤，以处理非光滑性，而无需依赖次梯度信息。
• 推导 IFO 复杂度界：在线情形下为 $\tilde{\text{O}}(\rho^{-3})$，有限和情形下为 $\tilde{\text{O}}(n + \rho^{-2}\text{poly}(n))$，其中 $n$ 为求和项数。
• 设计一种低秩矩阵补全过程，其中光滑部分 $f$ 具有适合通过索引对 $(i,j)\in\Omega$ 进行随机梯度采样的有限和结构，从而实现无需完整矩阵乘法的高效计算。

实验结果

研究问题

• RQ1 能否将随机近端梯度方法有效扩展至黎曼流形设置，以实现非光滑优化？
• RQ2 寻找 $\rho$-驻点的黎曼随机近端梯度方法的增量一阶预言机（IFO）复杂度是多少？
• RQ3 在真实世界问题中，R-ProxSGD 和 R-ProxSPB 与现有黎曼次梯度方法相比，在性能和收敛速度上表现如何？
• RQ4 所提方法能否在避免显式次梯度计算的前提下，实现优于基于次梯度方法的 IFO 效率？
• RQ5 在在线稀疏主成分分析和鲁棒低秩矩阵补全等应用中，这些方法在性能提升方面达到了何种程度？

主要发现

• 在有限和情形下，R-ProxSPB 实现了 $\tilde{\text{O}}(n + \rho^{-2}\text{poly}(n))$ 的 IFO 复杂度，显著优于次梯度方法。
• 在在线情形下，R-ProxSPB 达到了 $\tilde{\text{O}}(\rho^{-3})$ 的 IFO 复杂度，与欧氏空间中已知的最佳率相当。
• 在在线稀疏主成分分析问题中，R-ProxSGD 和 R-ProxSPB 的收敛速度更快，且达到的客观值更低，优于 R-Subgrad 方法。
• 在鲁棒低秩矩阵补全任务中，R-ProxSGD 和 R-ProxSPB 在视频数据中生成的背景估计质量更高，其中 R-ProxSPB 展现出最一致的性能提升。
• 所提算法无需显式计算次梯度，而是依赖近端步骤与随机梯度估计器，从而增强了稳定性与收敛性。
• 在真实监控视频数据集（'Hall of a business building' 和 'Airport elevator'）上的实证结果表明，在相同 4|Ω| 次随机梯度预算下，R-ProxSPB 和 R-ProxSGD 均优于 R-Subgrad。