[论文解读] High-Rank Matrix Completion and Subspace Clustering with Missing Data

Brian Eriksson, Laura Balzano+1 more|arXiv (Cornell University)|Dec 23, 2011

Sparse and Compressive Sensing Techniques参考文献 16被引用 55

一句话总结

本文提出了一种新颖的高秩矩阵补全方法，适用于列位于多个低秩子空间并集中的矩阵，能够在稀疏、均匀随机观测下实现精确的列恢复。在温和的非一致性与几何假设下，当每个列至少观测到 $ C r N /\log^2 n $ 个条目时，可高概率完美恢复每一列，相较于标准低秩补全方法在全局秩较高（因多个子空间导致）时有显著改进。

ABSTRACT

This paper considers the problem of completing a matrix with many missing entries under the assumption that the columns of the matrix belong to a union of multiple low-rank subspaces. This generalizes the standard low-rank matrix completion problem to situations in which the matrix rank can be quite high or even full rank. Since the columns belong to a union of subspaces, this problem may also be viewed as a missing-data version of the subspace clustering problem. Let X be an n x N matrix whose (complete) columns lie in a union of at most k subspaces, each of rank <= r < n, and assume N >> kn. The main result of the paper shows that under mild assumptions each column of X can be perfectly recovered with high probability from an incomplete version so long as at least CrNlog^2(n) entries of X are observed uniformly at random, with C>1 a constant depending on the usual incoherence conditions, the geometrical arrangement of subspaces, and the distribution of columns over the subspaces. The result is illustrated with numerical experiments and an application to Internet distance matrix completion and topology identification.

研究动机与目标

• 解决全矩阵秩较大或为满秩，但列位于多个低秩子空间并集中的高秩矩阵补全问题。
• 通过利用子空间结构，克服标准低秩矩阵补全方法在秩接近 $ n $ 时需几乎全部条目才能恢复的局限性。
• 通过聚焦于逐列恢复而非全矩阵恢复，实现对大规模矩阵（如 $ N \gg n $）的实际补全。
• 在稀疏、均匀随机采样条件下，为精确列恢复提供理论保证，即使矩阵为满秩亦成立。
• 开发适用于现实世界缺失数据问题（如从被动监控中推断互联网拓扑）的方法。

提出的方法

• 将矩阵 $ \mathbf{X} \in \mathbb{R}^{n \times N} $ 建模为列位于最多 $ k $ 个子空间中，每个子空间的秩 $ \leq r < n $，且 $ N \gg kn $。
• 提出一种计算高效的算法，通过求解观测条目局部邻域上的低秩逼近问题来恢复每一列。
• 采用采样条件：每个列至少需要 $ C r N \log^2 n $ 个观测条目，其中 $ C > 1 $ 取决于非一致性、子空间几何结构及列分布。
• 利用子空间并集结构，避免标准低秩补全方法所需的 $ rN \log^2 N $ 采样量，转而实现 $ rN \log^2 n $ 的采样要求。
• 将该方法应用于真实世界的互联网距离矩阵补全，其中子网对应于低秩子空间（例如，每个子网秩为2）。
• 使用启发式方法在未知子空间数 $ k $ 时估计其值，并将方法应用于真实延迟数据，其中 $ N = 22,550 $ 个IP地址，$ n = 100 $ 个监控点。

实验结果

研究问题

• RQ1 当矩阵列属于多个低秩子空间的并集，且全局秩接近 $ n $ 时，能否在高秩矩阵中实现精确补全？
• RQ2 在均匀随机采样下，确保高概率逐列恢复的最小采样率是多少？
• RQ3 与标准低秩矩阵补全相比，该方法在高秩、子空间结构化数据上的采样效率与准确性如何？
• RQ4 该方法能否在真实世界互联网距离矩阵中实现高精度的缺失条目恢复，特别是当底层拓扑导致子空间并集结构时？
• RQ5 当子空间数 $ k $ 未知或从数据中估计时，该方法是否仍保持有效性？

主要发现

• 若每个列至少观测到 $ C r N \log^2 n $ 个条目，则每一列可高概率完美恢复，其中 $ C > 1 $ 取决于非一致性、子空间几何结构及列分布。
• 在模拟中，该方法每列仅需约50个观测条目即可实现精确恢复，而标准低秩补全方法因秩较高（$ rk = 50 $）需近230个观测条目。
• 在包含 $ k = 12 $ 个子网、$ n = 75 $ 个监控点、$ N = 2700 $ 个IP地址的合成网络中，该高秩方法在40%观测率下对超过70%的缺失跳数实现了精确插补。
• 在相同条件下，标准低秩矩阵补全方法几乎未实现任何精确插补，凸显了利用子空间结构的优势。
• 在真实延迟数据中（$ n = 100 $ 个监控点，$ N = 22,550 $ 个IP地址），该高秩方法在40%观测条目下显著优于标准低秩补全方法的估计精度。
• 该方法成功从被动、不完整的跳数测量中恢复了底层网络拓扑，展示了在互联网拓扑推断中的实际应用价值。