[论文解读] Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent

Tian Tong, Cong Ma+1 more|arXiv (Cornell University)|May 18, 2020

Sparse and Compressive Sensing Techniques被引用 39

一句话总结

提出 Scaled Gradient Descent (ScaledGD)，一种预条件化的因子化梯度方法，在病态条件下的低秩矩阵估计任务中实现线性收敛，与条件数无关，且每次迭代成本低。

ABSTRACT

Low-rank matrix estimation is a canonical problem that finds numerous applications in signal processing, machine learning and imaging science. A popular approach in practice is to factorize the matrix into two compact low-rank factors, and then optimize these factors directly via simple iterative methods such as gradient descent and alternating minimization. Despite nonconvexity, recent literatures have shown that these simple heuristics in fact achieve linear convergence when initialized properly for a growing number of problems of interest. However, upon closer examination, existing approaches can still be computationally expensive especially for ill-conditioned matrices: the convergence rate of gradient descent depends linearly on the condition number of the low-rank matrix, while the per-iteration cost of alternating minimization is often prohibitive for large matrices. The goal of this paper is to set forth a competitive algorithmic approach dubbed Scaled Gradient Descent (ScaledGD) which can be viewed as pre-conditioned or diagonally-scaled gradient descent, where the pre-conditioners are adaptive and iteration-varying with a minimal computational overhead. With tailored variants for low-rank matrix sensing, robust principal component analysis and matrix completion, we theoretically show that ScaledGD achieves the best of both worlds: it converges linearly at a rate independent of the condition number of the low-rank matrix similar as alternating minimization, while maintaining the low per-iteration cost of gradient descent. Our analysis is also applicable to general loss functions that are restricted strongly convex and smooth over low-rank matrices. To the best of our knowledge, ScaledGD is the first algorithm that provably has such properties over a wide range of low-rank matrix estimation tasks.

研究动机与目标

• 在病态条件下的低秩矩阵估计中，推动需要更快且对条件数不敏感的收敛性。
• 提出 ScaledGD 作为一个对角缩放、自适应预条件的梯度方法，开销较低。
• 给出在关键问题上（矩阵感知、鲁棒PCA、矩阵补全）线性收敛且与条件数无关的理论保证。
• 通过一种新的距离度量提供统一分析，考虑预条件化的影响。
• 在多项任务中展示相较于原生梯度下降的经验加速。

提出的方法

• 将 X 参数化为 LR^T，得到秩为 r 的因式分解，并对 L 与 R 进行联合优化。
• 对梯度步长应用对角缩放，使用 (R^T R)^{-1} 和 (L^T L)^{-1} 来形成缩放更新。
• 引入一种新的距离度量，考虑预条件化效果以及在 GL(r) 作用下的可识别性。
• 在三个任务上实例化 ScaledGD：矩阵感知、鲁棒PCA 和矩阵补全，并采用谱初始化。
• 证明 ScaledGD 迭代在新距离度量下的收缩性，得到与条件数无关的线性收敛率。
• 将分析推广到在低秩矩阵上受限强凸性和光滑性的一般损失函数。

实验结果

研究问题

• RQ1 是否存在一个一阶方法，其每次迭代成本与梯度下降相近，但在病态条件下的低秩矩阵估计中仍可实现与条件数无关的线性收敛？
• RQ2 哪种预条件策略在矩阵感知、鲁棒PCA 和矩阵补全中能够实现快速、可证明的收敛？
• RQ3 提出的距离度量如何捕捉预条件化对收敛性的影响？
• RQ4 在标准采样/模型（RIP、不可关联性等）下，保持接近最优样本复杂度的同时，可扩展性是否成立？

主要发现

• ScaledGD 在合适的初始化下实现线性收敛，收敛速率不依赖于条件数 κ。
• 对于矩阵感知，ScaledGD 在 O(log(1/ε)) 次迭代内收敛，测量量 m = O(n r^2 κ^2)，并且 RIP 条件为 δ_{2r} ≤ 0.02/(√r κ)。
• 对于鲁棒PCA，在硬阈值化下，若腐蚀程度 α ≤ c/(μ r^{3/2} κ) 且假设 μ-不可关联，则在 O(log(1/ε)) 次迭代内收敛。
• 对于矩阵补全，ScaledGD 在 O(log(1/ε)) 次迭代内达到 ε 精度，样本复杂度 n1 n2 p ≳ (μ κ^2 ∨ log n) μ n r^2 κ^2。
• ScaledGD 不需要额外正则化来平衡 L 与 R，或额外的不可关联投影。
• 该框架扩展到在低秩矩阵上受限强凸且光滑的一般损失函数。