[论文解读] Convergence of a Grassmannian Gradient Descent Algorithm for Subspace Estimation From Undersampled Data

Dejiao Zhang, Laura Balzano|arXiv (Cornell University)|Oct 1, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用 9

一句话总结

该论文提出了一种基于流式、欠采样数据的子空间估计的格拉斯曼流形梯度下降算法，采用自适应步长，确保在完全采样下全局收敛至真实子空间，并在欠采样下实现单调的期望改进。该方法在格拉斯曼流形上运行，并针对高斯或二值采样矩阵下的完全采样和压缩感知情形提供了收敛性的理论保证。

ABSTRACT

Subspace learning and matrix factorization problems have great many applications in science and engineering, and efficient algorithms are critical as dataset sizes continue to grow. Many relevant problem formulations are non-convex, and in a variety of contexts it has been observed that solving the non-convex problem directly is not only efficient but reliably accurate. We discuss convergence theory for a particular method: first order incremental gradient descent constrained to the Grassmannian. The output of the algorithm is an orthonormal basis for a $d$-dimensional subspace spanned by an input streaming data matrix. We study two sampling cases: where each data vector of the streaming matrix is fully sampled, or where it is undersampled by a sampling matrix $A_t\in \mathbb{R}^{m imes n}$ with $m\ll n$. Our results cover two cases, where $A_t$ is Gaussian or a subset of rows of the identity matrix. We propose an adaptive stepsize scheme that depends only on the sampled data and algorithm outputs. We prove that with fully sampled data, the stepsize scheme maximizes the improvement of our convergence metric at each iteration, and this method converges from any random initialization to the true subspace, despite the non-convex formulation and orthogonality constraints. For the case of undersampled data, we establish monotonic expected improvement on the defined convergence metric for each iteration with high probability.

研究动机与目标

• 在流式数据条件下，为格拉斯曼流形上的子空间估计开发一种全局收敛的增量梯度算法。
• 在数据完全观测和通过高斯或基于单位阵的采样矩阵进行欠采样的情况下，建立该算法的收敛性保证。
• 设计一种仅依赖于观测数据和算法输出的自适应步长规则，确保每次迭代的最优改进。
• 证明在欠采样数据下，即使存在缺失或压缩测量值，收敛度量的期望改进也保持单调。
• 拓展对流形上非凸优化的理论理解，以支持实时、内存受限的学习应用。

提出的方法

• 该算法在格拉斯曼流形 G(n,d) 上执行增量梯度下降，该流形表示 R^n 中所有 d 维子空间的集合。
• 通过秩一更新，利用流式数据向量迭代地优化估计子空间的正交基 U_t。
• 引入一种自适应步长规则，仅使用当前数据和算法状态，在每次迭代中最大化收敛度量的改进。
• 对于欠采样数据，方法处理观测值 xt = At vt 的形式，其中 At 为采样矩阵（高斯或行子采样的单位阵），算法基于部分测量值进行更新。
• 理论分析依赖于浓度不等式和非一致性参数，以界定残差和子空间夹角误差。
• 引理与证明使用 McDiarmid 不等式和矩阵扰动界等工具，建立高概率收敛行为。

实验结果

研究问题

• RQ1 在完全采样下，格拉斯曼流形上的增量梯度下降能否从任意随机初始化实现对真实子空间的全局收敛？
• RQ2 在完全采样情况下，所提出的自适应步长规则是否能在每次迭代中实现收敛度量的最优改进？
• RQ3 在欠采样数据下（包括压缩感知和缺失数据），能否保证收敛度量的期望改进在每次迭代中单调？
• RQ4 非一致性参数和采样矩阵结构（高斯 vs. 行子采样）如何影响收敛速度和误差界？
• RQ5 对于具有不完整或压缩观测值的流式、在线子空间估计，可建立哪些理论保证？

主要发现

• 在完全采样数据下，该算法可从任意随机初始化全局收敛至真实子空间，且自适应步长在每一步均最大化收敛度量的改进。
• 在欠采样数据下，该算法以高概率确保收敛度量在迭代过程中保持单调的期望改进。
• 理论保证适用于两种采样情形：i.i.d. 高斯采样矩阵和单位阵的行子采样（缺失数据）。
• 收敛性分析依赖于非一致性参数 µ(U) 和 µ(v⊥)，并利用 McDiarmid 不等式和矩阵浓度不等式推导出高概率界。
• 自适应步长规则为数据驱动，无需事先知晓真实子空间或噪声水平。
• 与先前工作相比，本研究通过为具有正交性约束和不完整观测值的流式、非凸子空间估计提供了全局收敛性，显著提升了理论结果。