[论文解读] Learning Low Rank Matrices from O(n) Entries

Raghunandan H. Keshavan, Andrea Montanari+1 more|ArXiv.org|Dec 14, 2008

Machine Learning and Algorithms参考文献 1被引用 6

一句话总结

本文证明，仅需 O(n) 个随机选取的条目，即可通过一种新颖的局部搜索算法 WalkRank，在任意期望精度 δ 内重建一个 n×n 的低秩矩阵。该方法在 n·Poly(log n) 次操作内高效实现接近最优的重建效果，显著优于大规模问题中的传统半定规划方法。

ABSTRACT

How many random entries of an n by m, rank r matrix are necessary to reconstruct the matrix within an accuracy d? We address this question in the case of a random matrix with bounded rank, whereby the observed entries are chosen uniformly at random. We prove that, for any d>0, C(r,d)n observations are sufficient. Finally we discuss the question of reconstructing the matrix efficiently, and demonstrate through extensive simulations that this task can be accomplished in nPoly(log n) operations, for small rank.

研究动机与目标

• 确定在给定误差容限下，重建低秩矩阵所需的最少随机条目数量。
• 解决半定规划在大规模矩阵补全问题中的低效性。
• 开发一种计算高效的算法，以最少观测条目实现高精度重建。
• 分析随机低秩矩阵模型中，重建误差与观测条目数量之间的权衡。

提出的方法

• 提出一种局部搜索算法 WalkRank，通过交替使用贪心操作和行走操作来优化低秩矩阵因子。
• 利用贪心操作通过更新单个行或列因子来最小化代价函数。
• 采用行走操作通过重新估计因子向量来校正观测条目中的大误差。
• 引入一种概率选择规则，其中行走操作以概率 ρ≈0.1 被选择，以平衡探索与收敛。
• 使用涉及 Δ（观测精度）以及依赖于 ε 和 r 的项的边界来分析重建误差。
• 通过合成数据进行实验验证性能，并与最大似然下界进行比较。

实验结果

研究问题

• RQ1 是否可以仅用 O(n) 个随机观测条目实现低秩矩阵重建，而非 O(n^{6/5})？
• RQ2 观测条目数量与可实现重建误差之间的基本权衡是什么？
• RQ3 局部搜索算法是否在计算效率上优于核范数最小化等凸松弛方法？
• RQ4 局部搜索算法的性能如何随矩阵规模和秩的变化而变化？
• RQ5 实际算法性能与最大似然估计的理论下界之间是否存在差距？

主要发现

• O(n) 个随机条目足以在误差界 Δ + 2r·ε⁻¹/²·log(10ε̃) 内重建一个 n×n 的秩-r 矩阵，其中 ε̃ = ε/((1+α)r)。
• WalkRank 算法实现的重建误差接近理论最大似然下界，每列/行仅需额外一到两个条目。
• 该算法具有高效的可扩展性，时间复杂度约为 n·Poly(log n) 次操作，适用于大规模矩阵补全。
• 仿真结果表明，重建误差在两个数量级的矩阵规模 n 范围内几乎与 n 无关，且随 ε 增大而迅速下降。
• 对于真实世界数据（如 Netflix 数据），拟合误差和预测误差随时间减小，表明真实数据介于随机低秩矩阵与 i.i.d. 噪声之间。
• 该方法在计算效率上优于凸松弛方法，同时保持接近最优的精度，尤其在 n 较大且 r 较小时表现更优。