[论文解读] Improved Algorithms for Matrix Recovery from Rank-One Projections

Mohammadreza Soltani, Chinmay Hegde|arXiv (Cornell University)|May 21, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用 5

一句话总结

该论文提出两种新颖的非凸算法——EP-ROM 和 AP-ROM，用于从噪声 rank-one 投影中恢复低秩矩阵。通过利用随机化块 Krylov 子空间 SVD 和基于梯度的更新，这些方法实现了与矩阵条件数无关的线性收敛，样本复杂度独立于条件数，从而实现近乎线性的时间复杂度，并在所有低秩矩阵上实现无条件的性能表现。

ABSTRACT

We consider the problem of estimation of a low-rank matrix from a limited number of noisy rank-one projections. In particular, we propose two fast, non-convex \emph{proper} algorithms for matrix recovery and support them with rigorous theoretical analysis. We show that the proposed algorithms enjoy linear convergence and that their sample complexity is independent of the condition number of the unknown true low-rank matrix. By leveraging recent advances in low-rank matrix approximation techniques, we show that our algorithms achieve computational speed-ups over existing methods. Finally, we complement our theory with some numerical experiments.

研究动机与目标

• 解决现有凸与非凸矩阵恢复方法在维度上呈立方级增长的计算低效问题。
• 克服先前非凸方法对精确初始化的依赖性及其对矩阵条件数的敏感性。
• 在高维设置下，为从 rank-one 投影中恢复矩阵开发快速、可扩展的算法。
• 在无需谱或条件性假设的前提下，实现近乎最优的样本复杂度与运行时间。
• 使算法在矩阵感知、协方差压缩和多项式神经网络学习等应用中具备实际部署可行性。

提出的方法

• 提出 EP-ROM 和 AP-ROM 两种非凸、恰当的算法，用于从 rank-one 投影中恢复矩阵。
• 利用随机化块 Krylov 子空间 SVD（MBK-SVD）计算低秩近似，避免完整 SVD 的计算。
• 基于观测值与预测值之间的残差设计梯度更新步骤。
• 通过 MBK-SVD 与 Krylov 迭代结合头部和尾部的近似投影，以保持低秩结构。
• 利用算子 $β$ 高效计算涉及梯度的矩阵-向量乘积，而无需显式形成矩阵。
• 通过在每次迭代中仔细选择步长并进行子空间投影，确保线性收敛。

实验结果

研究问题

• RQ1 我们能否设计一种从 rank-one 投影中恢复矩阵的算法，避免完整 SVD 计算并实现线性收敛？
• RQ2 是否可能在恢复算法中消除对真实低秩矩阵条件数的依赖？
• RQ3 在高维设置下，能否在保持近乎线性运行时间的同时实现近乎最优的样本复杂度？
• RQ4 随机化块 Krylov 方法如何提升矩阵恢复的计算效率？
• RQ5 在非凸矩阵恢复中，样本复杂度与运行时间之间的理论与经验权衡是什么？

主要发现

• 所提出的 AP-ROM 算法总运行时间为 $\widetilde{{\mathcal{O}}}(p^{2}r^{3}\log^{5}(p)\log^{2}(\frac{1}{ε}))$，显著快于先前需要 $O(p^3)$ 操作的方法。
• EP-ROM 实现了线性收敛，样本复杂度为 $\mathcal{O}(pr^{2}\log^{4}(p)\log(\frac{1}{\epsilon}))$，且独立于矩阵条件数。
• 该算法具有条件数无关性，即在病态矩阵上性能不会下降。
• 数值实验表明，所提方法在样本复杂度与运行时间之间提供了有利的权衡。
• MBK-SVD 的使用实现了梯度近似的高效计算，减少了对完整 SVD 的依赖，并在 $p$ 上实现近乎线性缩放。
• 理论分析表明，AP-ROM 的运行时间复杂度为 $\mathcal{O}(p^{2}r^{3}\log^{5}(p)\log^{2}(\frac{1}{\epsilon}))$，且无谱依赖性。