[论文解读] Uniqueness of Low-Rank Matrix Completion by Rigidity Theory

Amit Singer, Mihai Cucuringu|ArXiv.org|Feb 23, 2009

Sparse and Compressive Sensing Techniques参考文献 25被引用 6

一句话总结

本文提出了一种受刚性理论启发的框架，通过构建类似于结构刚性中刚性矩阵的完成矩阵，来确定低秩矩阵填充的唯一性。利用LSQR等迭代方法，该方法无需计算实际矩阵即可高效测试秩-$d$填充的局部和全局唯一性，提供了一种快速、随机化的算法，用于判断从给定观测条目中理论上是否存在唯一填充。

ABSTRACT

The problem of completing a low-rank matrix from a subset of its entries is often encountered in the analysis of incomplete data sets exhibiting an underlying factor model with applications in collaborative filtering, computer vision and control. Most recent work had been focused on constructing efficient algorithms for exact or approximate recovery of the missing matrix entries and proving lower bounds for the number of known entries that guarantee a successful recovery with high probability. A related problem from both the mathematical and algorithmic point of view is the distance geometry problem of realizing points in a Euclidean space from a given subset of their pairwise distances. Rigidity theory answers basic questions regarding the uniqueness of the realization satisfying a given partial set of distances. We observe that basic ideas and tools of rigidity theory can be adapted to determine uniqueness of low-rank matrix completion, where inner products play the role that distances play in rigidity theory. This observation leads to an efficient randomized algorithm for testing both local and global unique completion. Crucial to our analysis is a new matrix, which we call the completion matrix, that serves as the analogue of the rigidity matrix.

研究动机与目标

• 确定能否从矩阵条目的子集唯一完成低秩矩阵，这是数据恢复与协同过滤中的关键问题。
• 将刚性理论中的工具——特别是无穷小刚性概念——适配到矩阵填充问题中，其中内积起到距离的作用。
• 开发一种计算高效的随机化算法，测试填充的局部和全局唯一性，而无需尝试重构矩阵。
• 引入“完成矩阵”作为刚性矩阵的类比，实现对填充唯一性的基于秩的分析。
• 提供允许唯一低秩填充的条目模式的组合与几何表征，尤其针对秩-1和秩-2矩阵。

提出的方法

• 本文从观测条目构建完成矩阵，类似于刚性理论中的刚性矩阵，用于编码低秩填充问题的几何约束。
• 完成矩阵的秩决定了无穷小填充性质：若该矩阵具有满行秩，则填充是无穷小唯一的。
• 基于Hendrickson方法的随机化算法通过使用LSQR等迭代求解器检查完成矩阵的零空间来测试局部填充。
• 对于全局唯一性，该方法扩展至应力矩阵，并采用受Gortler、Healy与Thurston的全局刚性测试启发的随机化算法。
• 该算法通过仅关注完成矩阵的秩与零空间，避免了完整矩阵重构，利用稀疏性实现高效计算。
• 数值实验在秩为2的矩形$n \times n$矩阵上验证了该方法，测量了运行时间随观测条目密度$\beta = m/n^2$的变化。

实验结果

研究问题

• RQ1 能否在不重构矩阵的情况下确定低秩矩阵填充的唯一性？
• RQ2 如何将刚性理论的工具——特别是刚性矩阵与应力矩阵——适配到矩阵填充问题中，使内积替代距离？
• RQ3 观测条目的哪些组合模式可保证秩-$d$填充的局部或全局唯一性？
• RQ4 唯一性测试的计算复杂度如何随观测条目数量与矩阵规模变化？
• RQ5 完成矩阵的秩与填充的无穷小唯一性之间存在何种关系？

主要发现

• 完成矩阵作为刚性矩阵的类比，可通过其秩高效测试低秩矩阵填充的无穷小唯一性。
• 针对局部填充的随机化算法在矩阵规模达$10,133 \times 10,133$且$\beta \approx \beta^*$时，运行时间仅需数秒，其中$\beta^*$为局部可填充性的阈值。
• 当$n=10,133$时，$2\beta^*$下运行时间约为18.2秒，$\beta^*$下为12秒，表明随着观测条目增加，收敛速度加快。
• 在$0.75\beta^*$时，算法能正确识别不可填充矩阵，且当LSQR无法在残差阈值内收敛时，运行时间显著增加。
• 全局填充测试可行且可扩展，当$n=10,133$时，$2\beta^*$下运行时间最长达288秒，表明该方法随矩阵规模增长具有良好扩展性。
• 该方法验证了先前工作[13, 14, 15]关于随机缺失模式的理论边界，准确检测了填充可行性。