[论文解读] How Many Samples is a Good Initial Point Worth in Low-rank Matrix Recovery?

Gavin Zhang, Richard Y. Zhang|arXiv (Cornell University)|Jun 12, 2020

Sparse and Compressive Sensing Techniques参考文献 23被引用 6

一句话总结

本文量化了低秩矩阵恢复中初始点质量与样本复杂度之间的权衡，表明初始猜测准确度的线性提升可使所需样本数减少一个常数因子。通过使用限制等距常数作为代理，推导出一个依赖于初始点与真实矩阵对齐程度的样本复杂度的紧下界。

ABSTRACT

Given a sufficiently large amount of labeled data, the non-convex low-rank matrix recovery problem contains no spurious local minima, so a local optimization algorithm is guaranteed to converge to a global minimum starting from any initial guess. However, the actual amount of data needed by this theoretical guarantee is very pessimistic, as it must prevent spurious local minima from existing anywhere, including at adversarial locations. In contrast, prior work based on good initial guesses have more realistic data requirements, because they allow spurious local minima to exist outside of a neighborhood of the solution. In this paper, we quantify the relationship between the quality of the initial guess and the corresponding reduction in data requirements. Using the restricted isometry constant as a surrogate for sample complexity, we compute a sharp threshold number of samples needed to prevent each specific point on the optimization landscape from becoming a spurious local minimum. Optimizing the threshold over regions of the landscape, we see that for initial points around the ground truth, a linear improvement in the quality of the initial guess amounts to a constant factor improvement in the sample complexity.

研究动机与目标

• 理解为何非凸低秩矩阵恢复的理论样本复杂度界在实践中过于悲观。
• 刻画初始点质量与消除虚假局部极小值所需样本数之间的关系。
• 提供一个依赖于候选解在优化景观上位置的紧样本复杂度阈值。
• 利用凸优化技术推导并验证一个闭式、紧致的样本复杂度阈值下界。
• 表明靠近真实值的改进初始点可使所需样本数减少一个常数因子。

提出的方法

• 以矩阵感知问题为模型：从次高斯线性测量中恢复一个低秩半正定矩阵。
• 定义了一个阈值样本复杂度 δ_soc(X)，用于判断优化景观上的点 X 是否可能成为虚假局部极小值。
• 引入一个基于虚假临界点的闭式下界 δ_foc(X)，证明其为紧致且具有几何可解释性。
• 分析初始点 X 与真实值 Z 之间的几何关系，表明列空间之间夹角的余弦值（对齐程度）决定了样本复杂度。
• 在景观区域上对下界 δ_foc(X) 进行优化，以量化初始点质量与样本复杂度之间的权衡。
• 采用凸优化技术推导并验证该下界，证明其在真实值附近的紧致性。

实验结果

研究问题

• RQ1 初始点质量如何影响低秩矩阵恢复中消除虚假局部极小值所需的样本数？
• RQ2 何种精确的样本复杂度阈值可防止优化景观上的特定点成为虚假局部极小值？
• RQ3 能否结合几何与凸优化洞察，推导出样本复杂度阈值的闭式、紧致下界？
• RQ4 初始点与真实值矩阵之间的对齐程度如何影响所需样本数？
• RQ5 在真实值附近，二阶条件（Hessian 半正定性）在多大程度上失效？这对样本复杂度有何含义？

主要发现

• 初始点质量的线性提升（例如，与真实值更好的对齐）可使消除虚假局部极小值所需的样本数减少一个常数因子。
• 阈值样本复杂度 δ_soc(X) 被 δ_foc(X) 紧密地从下方界定，其中 δ_foc(X) 是基于几何与凸分析推导出的闭式表达式。
• 当初始点 X 的列空间与真实值 Z 的列空间几乎正交时，虚假局部极小值最可能存在的区域，此时需要显著更多的样本才能消除。
• 在真实值附近，二阶条件失效，即 Hessian 不再约束阈值，此时 δ_foc(X) 提供了一个紧致下界。
• 在真实值附近，δ_foc(X) 与 δ_soc(X) 的等值线几乎完全重合，证实了该下界在实际关注区域内的紧致性。
• 研究结果解释了理论样本复杂度界与实际性能之间的差距：良好的初始点可大幅减少所需数据量，使得理论界过于保守。