[论文解读] Global Convergence of a Grassmannian Gradient Descent Algorithm for Subspace Estimation

Dejiao Zhang, Laura Balzano|arXiv (Cornell University)|Jun 24, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用 31

一句话总结

该论文提出了一种适用于流数据子空间估计的格拉斯曼流形梯度下降算法，采用自适应步长，确保在无噪声条件下全局收敛至真实子空间，并在有噪声情况下提供收敛速率。该方法在格拉斯曼流形上运行，使用秩一更新，通过贪婪步长方案实现收敛指标的最优提升。

ABSTRACT

It has been observed in a variety of contexts that gradient descent methods have great success in solving low-rank matrix factorization problems, despite the relevant problem formulation being non-convex. We tackle a particular instance of this scenario, where we seek the $d$-dimensional subspace spanned by a streaming data matrix. We apply the natural first order incremental gradient descent method, constraining the gradient method to the Grassmannian. In this paper, we propose an adaptive step size scheme that is greedy for the noiseless case, that maximizes the improvement of our metric of convergence at each data index $t$, and yields an expected improvement for the noisy case. We show that, with noise-free data, this method converges from any random initialization to the global minimum of the problem. For noisy data, we provide the expected convergence rate of the proposed algorithm per iteration.

研究动机与目标

• 建立增量梯度下降在格拉斯曼流形上用于子空间估计的全局收敛性保证。
• 开发一种自适应步长方案，以在无噪声情况下最大化收敛改进。
• 将收敛性分析扩展到存在噪声的情况，并提供期望改进的保证。
• 实现鲁棒且可扩展的子空间估计，适用于流数据应用。
• 为将基于梯度的方法扩展到正则化或非标准低秩矩阵分解问题提供理论基础。

提出的方法

• 该算法在格拉斯曼流形上使用增量梯度下降，每次接收到流数据向量后，通过秩一更新来更新子空间估计。
• 基于残差与数据向量投影之间夹角的贪婪步长被推导出来，以最大化子空间相似性度量的改进。
• 步长定义为 $\theta_t = \arctan\left((1 - \alpha_t) \frac{\|r_t\|}{\|p_t\|}\right)$，其中 $\alpha_t$ 依赖于噪声界限和数据统计。
• 通过结合投影方向和残差方向，更新规则将当前子空间朝观测数据向量倾斜。
• 在有噪声情况下，步长被调整为无噪声方案的加权版本，取决于数据和噪声方差。
• 通过主角度和两种度量（行列式相似性 $\zeta_t$ 和弗罗贝尼乌斯范数差异 $\epsilon_t$）分析收敛性。

实验结果

研究问题

• RQ1 在随机初始化下，格拉斯曼流形上的增量梯度下降能否实现子空间估计的全局收敛？
• RQ2 在无噪声流数据设置下，何种自适应步长策略能最大化收敛改进？
• RQ3 在存在噪声的情况下，该算法表现如何，能否保证期望收敛？
• RQ4 在有噪声条件下，该方法是否能保持子空间估计度量的单调改进？
• RQ5 该方法能否扩展到正则化或非标准低秩分解问题？

主要发现

• 在无噪声情况下，所提算法几乎必然从任意随机初始化收敛至真实子空间。
• 在无噪声情况下，算法表现出初始收敛缓慢的阶段，随后在全局最小值附近呈现线性收敛，与先前工作的局部收敛速率一致。
• 对于有噪声数据，所提出的步长方案可保证期望收敛速率，并在子空间相似性度量上实现单调期望改进。
• 自适应步长方案在无噪声设置下，每一步迭代均能最大化收敛指标的改进。
• 该方法首次为格拉斯曼流形上用于子空间估计的增量梯度下降算法提供了全局收敛结果。
• 理论分析支持了 GROUSE 及类似算法在非凸设置下的经验成功。