[论文解读] Matrix Completion from Non-Uniformly Sampled Entries

Yuanyu Wan, Jinfeng Yi+1 more|arXiv (Cornell University)|Jun 27, 2018

Sparse and Compressive Sensing Techniques参考文献 17被引用 3

一句话总结

该论文提出了一种矩阵补全算法，能够从非均匀采样的条目中恢复低秩矩阵，其中部分列被完全观测，其余列则以均匀采样方式部分观测。该方法首先从完全观测的列中恢复列空间，然后通过投影到该空间来重建每个部分观测的列，实现了在 O(rn ln n) 个条目下的精确恢复，并为噪声矩阵提供了 Frobenius 范数误差界。

ABSTRACT

In this paper, we consider matrix completion from non-uniformly sampled entries including fully observed and partially observed columns. Specifically, we assume that a small number of columns are randomly selected and fully observed, and each remaining column is partially observed with uniform sampling. To recover the unknown matrix, we first recover its column space from the fully observed columns. Then, for each partially observed column, we recover it by finding a vector which lies in the recovered column space and consists of the observed entries. When the unknown $m imes n$ matrix is low-rank, we show that our algorithm can exactly recover it from merely $Ω(rn\ln n)$ entries, where $r$ is the rank of the matrix. Furthermore, for a noisy low-rank matrix, our algorithm computes a low-rank approximation of the unknown matrix and enjoys an additive error bound measured by Frobenius norm. Experimental results on synthetic datasets verify our theoretical claims and demonstrate the effectiveness of our proposed algorithm.

研究动机与目标

• 解决条目非均匀采样场景下的矩阵补全问题，特别是当某些列被完全观测而其他列仅部分观测时。
• 开发一种在比以往工作更一般的采样假设下有效的恢复算法，包括仅部分列被完全观测的情况。
• 为低秩矩阵的精确恢复以及噪声环境下的低秩逼近建立理论保证。
• 通过实验表明，所提方法在准确性和鲁棒性方面优于现有基线方法（如 Nyström 方法）。

提出的方法

• 该算法首先利用一组完全观测的列恢复未知矩阵的列空间。
• 对于每个部分观测的列，寻找一个位于恢复后的列空间中且与观测条目匹配的向量。
• 该方法依赖于矩阵的非一致性条件以及部分观测列内条目的均匀采样。
• 使用奇异值分解（SVD）估计列空间，并通过投影重建缺失条目。
• 对于噪声矩阵，该算法计算低秩逼近，并利用 Frobenius 范数界定误差。
• 理论分析利用集中不等式和联合界推导样本复杂度边界。

实验结果

研究问题

• RQ1 当仅部分列被完全观测，其余列以均匀采样方式部分观测时，能否精确恢复低秩矩阵？
• RQ2 在此非均匀采样模型下，精确恢复所需的最少观测条目数是多少？
• RQ3 在存在噪声的情况下，该算法表现如何，可建立怎样的误差界？
• RQ4 该算法能否在均匀采样条件下实现比传统矩阵补全更优的样本复杂度？
• RQ5 与现有方法（如 Nyström 和 CUR+）相比，该算法在逼近精度方面表现如何？

主要发现

• 该算法在 O(rn ln n) 个观测条目下实现了对低秩矩阵的精确恢复，其中 r 为矩阵的秩，n 为列数。
• 样本复杂度略优于均匀采样下传统矩阵补全方法的 O(rn ln²n) 边界。
• 对于噪声低秩矩阵，该算法提供了与噪声水平和矩阵非一致性成比例的 Frobenius 范数误差界。
• 实验结果表明，即使在观测条目数相同的情况下，该算法在低秩逼近方面仍优于 Nyström 方法。
• 部分观测列中所需观测条目数（s）随 r ln r 线性增长，而非 r² ln r，验证了理论边界。
• 完全观测列的最小数量（d）也随 r ln r 线性增长，表明样本复杂度主要由部分观测列主导。