[论文解读] Escaping Saddle Points in Ill-Conditioned Matrix Completion with a Scalable Second Order Method

Christian Kümmerle, Claudio Mayrink Verdun|arXiv (Cornell University)|Sep 7, 2020

Sparse and Compressive Sensing Techniques参考文献 42被引用 6

一句话总结

该论文提出 MatrixIRLS，一种用于低秩矩阵补全的可扩展二阶方法，结合了迭代重加权最小二乘法（IRLS）与平滑对数行列式秩近似，以逃离鞍点并实现局部二次收敛。该方法实现了近乎最优的样本效率，并能从少量样本中成功恢复极坏条件数的矩阵（条件数高达 10^10），在准确性和鲁棒性方面优于当前最先进的第一阶方法。

ABSTRACT

We propose an iterative algorithm for low-rank matrix completion that can be interpreted as both an iteratively reweighted least squares (IRLS) algorithm and a saddle-escaping smoothing Newton method applied to a non-convex rank surrogate objective. It combines the favorable data efficiency of previous IRLS approaches with an improved scalability by several orders of magnitude. Our method attains a local quadratic convergence rate already for a number of samples that is close to the information theoretical limit. We show in numerical experiments that unlike many state-of-the-art approaches, our approach is able to complete very ill-conditioned matrices with a condition number of up to $10^{10}$ from few samples.

研究动机与目标

• 解决从少量观测条目中补全条件数极高（高达 10^10）的低秩矩阵的挑战。
• 克服凸核范数松弛方法的局限性，后者在小样本规模下计算成本高且数据效率低。
• 开发一种可扩展的二阶优化方法，能够逃离鞍点并实现快速局部收敛。
• 改进第一阶方法在病态问题中因条件差和收敛慢而失效的缺陷。
• 为偏微分方程反问题和谱估计等应用提供一种数据高效、可扩展且精确的矩阵补全方法。

提出的方法

• 该方法使用平滑对数行列式目标函数 Fϵ(X) = ∑ fϵ(σi(X)) 作为非凸、非光滑的秩近似，其中 fϵ(σ) 对 σ ≥ ϵ 时平滑逼近 log|σ|，对 σ < ϵ 时为二次函数。
• 采用迭代重加权最小二乘法（IRLS）框架，通过基于当前迭代值 X^(k) 的 Hessian 为基础的权重算子 W^(k) 求解加权最小二乘子问题。
• Hessian 近似通过随机化块 Krylov 方法或共轭梯度法计算，实现对大规模问题的可扩展性，无需存储完整矩阵。
• 平滑参数 ϵ 在迭代过程中自适应减小，以逐步改进对真实秩函数的逼近。
• 算法在满足数据约束下交替求解平滑目标函数的二次模型，并更新平滑参数，确保目标函数下降。
• 该方法被解释为一种逃离鞍点的平滑牛顿法，即使在病态设置下也能收敛至局部极小值。

实验结果

研究问题

• RQ1 一种可扩展的二阶方法是否能在病态低秩矩阵补全中逃离鞍点并实现快速局部收敛？
• RQ2 所提出的方法在条件数高达 10^10 的矩阵上是否优于第一阶方法？
• RQ3 该方法是否能在接近信息论极限的样本复杂度下保持高精度？
• RQ4 自适应平滑参数 ϵ 如何影响收敛性和恢复精度？
• RQ5 该方法是否能以高精度恢复所有奇异值，即使其数量级相差极大？

主要发现

• MatrixIRLS 即使在样本数接近信息论极限时，仍能实现局部二次收敛，表现出快速的局部收敛特性。
• 在 1000×1000 秩为 10、条件数为 10^10 的矩阵实验中，MatrixIRLS 实现了接近机器精度的相对 Frobenius 误差，并将所有奇异值恢复至 15 位有效数字的精度。
• 与其他方法不同，MatrixIRLS 顺利完成了 κ = 10^10 的矩阵补全，而 R2RILS、LRGeomCG、LMaFit、ScaledASD、ScaledGD 和 NIHT 均未能准确恢复奇异值。
• 内层循环中使用的共轭梯度法和随机化块 Krylov 方法在适当调优后实现了高精度，从而支持了精确的 Hessian 近似。
• 该方法保持了数据效率和可扩展性，在病态问题上的收敛速度和精度方面均优于凸方法和第一阶方法。
• 该算法在多个具有极端条件数的合成基准测试中，成功逃离鞍点并收敛至高精度解，验证了其有效性。