[论文解读] Fast Exact Matrix Completion: A Unified Optimization Framework for Matrix Completion

Dimitris Bertsimas, Michael Lingzhi Li|arXiv (Cornell University)|Oct 20, 2019

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出 fastImpute，一种新颖的非凸优化框架，用于快速且精确的低秩矩阵补全，支持有或无辅助信息的情况。通过将矩阵补全问题重新表述为可分离优化问题，其中一个因子作为另一个因子的函数，从而实现仅对单一变量进行高效的投影梯度下降，无需正则化即可实现全局收敛。该方法在性能上优于最先进方法，最高可降低 75% 的 MAPE，速度提升 15 倍，尤其在高缺失数据场景下表现优异，并可扩展至 10^6 × 10^6 的矩阵。

ABSTRACT

We formulate the problem of matrix completion with and without side information as a non-convex optimization problem. We design fastImpute based on non-convex gradient descent and show it converges to a global minimum that is guaranteed to recover closely the underlying matrix while it scales to matrices of sizes beyond $10^5 \ imes 10^5$. We report experiments on both synthetic and real-world datasets that show fastImpute is competitive in both the accuracy of the matrix recovered and the time needed across all cases. Furthermore, when a high number of entries are missing, fastImpute is over $75\\%$ lower in MAPE and $15$ times faster than current state-of-the-art matrix completion methods in both the case with side information and without.

研究动机与目标

• 开发一种统一、可扩展且精确的低秩矩阵补全优化框架，支持有或无辅助信息的情况。
• 克服现有凸松弛和基于因子分解方法在速度与可扩展性方面的局限性，同时保持精确恢复的保证。
• 设计一种非凸优化方法，实现全局收敛，且无需特殊正则化项。
• 在准确率（MAPE）和运行时间方面均优于最先进方法，尤其在高比例缺失条目时表现更优。

提出的方法

• 通过将一个因子（U）表示为另一个因子（V）的函数 g(V)，将矩阵补全问题重新表述为可分离优化问题，从而将问题简化为仅对单一变量 V 进行优化。
• 对 V 应用非凸投影梯度下降，施加固定范数约束 ||V||₂ = 1，以确保尺度不变性与稳定性。
• 利用矩阵微积分推导出关于 V 的代价函数与梯度的闭式表达式，实现高效计算。
• 通过投影步骤保持固定范数超球面约束，确保收敛性并避免退化解。
• 通过允许因子分解为特征的任意线性组合，整合辅助信息，提升建模灵活性与表达能力。
• 采用统一框架，在相同的优化结构下同时处理有或无辅助信息的低秩矩阵补全问题。

实验结果

研究问题

• RQ1 非凸优化框架是否能在不依赖特殊正则化项的前提下实现精确的矩阵恢复？
• RQ2 fastImpute 在不同矩阵规模与缺失数据率下的准确率（MAPE）与运行时间表现如何，相较于最先进方法？
• RQ3 所提出的方法是否能扩展至超过 10^5 × 10^5 的矩阵，同时保持高准确率与快速收敛？
• RQ4 基于推导因子分解 g(V) 的统一框架是否优于标准的 Burer-Monteiro 因子分解方法（即对 U 和 V 联合优化）？
• RQ5 在高缺失数据率下，该方法在真实数据集（如 Netflix）上的表现如何？

主要发现

• 当高比例条目缺失时，无论是否包含辅助信息，fastImpute 相较于最先进方法，MAPE 降低超过 75%。
• 该方法比当前最先进方法最快可达 15 倍，尤其在高缺失数据场景下优势显著，运行时间在小矩阵上呈次线性缩放，大矩阵上为 O(nm)。
• 在合成数据上，fastImpute 实现最低 MAPE（在 10^6 × 10^3 时为 2.1%），耗时 104 秒；而 SIALS 耗时 6270 秒，SISVD 在 20 小时内未能完成。
• 在 Netflix 数据集上，fastImpute 实现更低 MAPE（13.8%）优于 SIALS（20.1%），在大规模矩阵（471,268 × 14,538）上仅耗时 2098 秒，而 SIALS 耗时 38,256 秒。
• 尽管理论复杂度为 O(k³)，但实际运行中复杂度表现为 O(k)，可能由于 k² 和 k³ 项的常数因子较小。
• 该框架通过支持特征的完整线性组合，成功整合辅助信息，实现强于仅限制于离散特征选择方法的恢复性能。