[论文解读] A Scalable Second Order Method for Ill-Conditioned Matrix Completion from Few Samples

Christian Kümmerle, Claudio Mayrink Verdun|arXiv (Cornell University)|Jun 3, 2021

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

该论文提出 MatrixIRLS，一种用于低秩矩阵补全的可扩展二阶方法，即使在条件数高达 $10^{10}$ 的矩阵上也能实现局部二次收敛和良好条件的线性系统。该方法结合了迭代重加权最小二乘法与非凸秩近似，实现了高数据效率和从少量样本中的可扩展性，并在最小采样条件下具备理论保证。

ABSTRACT

We propose an iterative algorithm for low-rank matrix completion that can be interpreted as an iteratively reweighted least squares (IRLS) algorithm, a saddle-escaping smoothing Newton method or a variable metric proximal gradient method applied to a non-convex rank surrogate. It combines the favorable data-efficiency of previous IRLS approaches with an improved scalability by several orders of magnitude. We establish the first local convergence guarantee from a minimal number of samples for that class of algorithms, showing that the method attains a local quadratic convergence rate. Furthermore, we show that the linear systems to be solved are well-conditioned even for very ill-conditioned ground truth matrices. We provide extensive experiments, indicating that unlike many state-of-the-art approaches, our method is able to complete very ill-conditioned matrices with a condition number of up to $10^{10}$ from few samples, while being competitive in its scalability.

研究动机与目标

• 解决从最少样本中补全极病态低秩矩阵（条件数高达 $10^{10}$）的挑战。
• 克服凸核范数最小化和现有非凸方法在可扩展性和数据效率方面的局限性。
• 开发一种二阶方法，即使在真实矩阵严重病态时也能保持线性系统的良好条件性。
• 在最小采样条件下建立局部收敛性，且收敛速率为二次，与条件数无关。
• 提供一种可扩展算法，在病态问题上的恢复精度和计算效率方面优于最先进方法。

提出的方法

• MatrixIRLS 被表述为应用于非凸秩近似的迭代重加权最小二乘法（IRLS）算法，支持二阶优化。
• 该方法采用可变度量的邻近梯度方法，并结合平滑牛顿步长，以处理秩最小化问题中的非光滑性和非凸性。
• 在每次迭代中，它求解一个带有类似海森矩阵更新的正则化最小二乘子问题，即使在病态的真实矩阵下也能确保线性系统的良好条件性。
• 该算法在矩阵维度 $D$ 上实现子二次的每轮复杂度，从而实现大规模问题的可扩展性。
• 它采用随机化块 Krylov 方法准确求解线性系统，而无需高精度内部求解。
• 该方法可被解释为一种逃离鞍点的平滑牛顿方法，使得在有利采样条件下可收敛至局部极小值。

实验结果

研究问题

• RQ1 在最小采样条件下，二阶方法是否能实现与矩阵条件数无关的低秩矩阵补全的局部二次收敛？
• RQ2 当真实矩阵极度病态（例如，$\kappa = 10^{10}$）时，矩阵补全中产生的线性系统是否仍能保持良好条件？
• RQ3 所提出的方法是否在保持可扩展性的同时，实现高数据效率——所需样本数少于凸松弛方法？
• RQ4 该算法在恢复病态矩阵中所有奇异值（尤其是最小奇异值）方面表现如何？
• RQ5 该方法是否能在病态矩阵补全任务中，同时优于最先进水平的黎曼和一阶方法，在精度和可扩展性方面？

主要发现

• MatrixIRLS 在 $m = \Omega(\mu_0 r D \log D)$ 个样本下实现局部二次收敛，样本复杂度与条件数 $\kappa$ 无关，这在均匀随机采样下是最优的。
• 即使在真实矩阵条件数高达 $10^{10}$ 的情况下，每次迭代求解的线性系统仍保持良好条件性，从而实现稳定且快速的收敛。
• 该方法以 $10^{-7}$ 到 $10^{-3}$ 之间的相对误差恢复最小奇异值，表明在中等内迭代求解器容差（$10^{-3}$）下仍具备高精度的谱恢复能力。
• MatrixIRLS 在从少量样本中恢复病态矩阵方面优于 ScaledGD、NIHT、R3MC 和 LRGeomCG，尤其在保持完整奇异谱方面表现突出。
• 该算法保持可扩展性，每轮计算成本为子二次复杂度，从而实现高效的大型矩阵补全。
• 实证结果表明，MatrixIRLS 以及 R3MC w/ Rank Upd 和 LRGeomCG Pursuit 是处理困难矩阵恢复问题的有效替代方案，值得进一步开展理论研究。