[论文解读] Universal Matrix Completion

Srinadh Bhojanapalli, Prateek Jain|arXiv (Cornell University)|Feb 10, 2014

Sparse and Compressive Sensing Techniques参考文献 24被引用 72

一句话总结

本文提出了一种通用的矩阵补全框架，通过核范数最小化，在观测索引集对应于具有较大谱间隙的二分图时，可保证低秩矩阵的精确恢复。关键贡献在于证明：在更强的无偏性条件下，$O(nr^2)$ 个均匀采样的条目足以实现精确恢复，优于标准的 $O(nr\log n)$ 样本复杂度，并确立谱间隙作为跨多种采样方案下可恢复性的关键因素。

ABSTRACT

The problem of low-rank matrix completion has recently generated a lot of interest leading to several results that offer exact solutions to the problem. However, in order to do so, these methods make assumptions that can be quite restrictive in practice. More specifically, the methods assume that: a) the observed indices are sampled uniformly at random, and b) for every new matrix, the observed indices are sampled afresh. In this work, we address these issues by providing a universal recovery guarantee for matrix completion that works for a variety of sampling schemes. In particular, we show that if the set of sampled indices come from the edges of a bipartite graph with large spectral gap (i.e. gap between the first and the second singular value), then the nuclear norm minimization based method exactly recovers all low-rank matrices that satisfy certain incoherence properties. Moreover, we also show that under certain stricter incoherence conditions, $O(nr^2)$ uniformly sampled entries are enough to recover any rank-$r$ $n imes n$ matrix, in contrast to the $O(nr\log n)$ sample complexity required by other matrix completion algorithms as well as existing analyses of the nuclear norm method.

研究动机与目标

• 开发一种适用于多种采样方案的低秩矩阵补全通用恢复保证，而不仅限于独立同分布的均匀采样。
• 识别由观测索引构成的二分图的谱间隙作为控制矩阵可恢复性的关键结构属性。
• 在更强的无偏性假设下，将样本复杂度从 $O(nr\log n)$ 降低至 $O(nr^2)$ 以实现精确恢复。
• 证明：若关联图 $\mathcal{G}$ 具有较大的谱间隙，则固定索引集 $\Omega$ 可普遍恢复任意低秩矩阵 $M$。
• 表明标准无偏性条件不足以实现通用恢复，必须采用更强的无偏性条件。

提出的方法

• 该方法将观测索引集 $\Omega$ 建模为具有双邻接矩阵 $G$ 的二分图 $\mathcal{G}$，其中若 $(i,j) \in \Omega$，则 $G_{ij} = 1$。
• 若 $\mathcal{G}$ 具有较大的谱间隙（即 $G$ 的最大奇异值与第二大奇异值之差），则可保证恢复。
• 论文通过核范数最小化从 $P_\Omega(M)$（即 $M$ 在观测条目上的投影）中恢复 $M$。
• 通过高尔夫法构造对偶证书 $Y$ 以验证精确恢复，迭代更新为 $W_{k+1} = W_k - \frac{n}{d}\mathcal{P}_T P_\Omega W_k$。
• 该构造依赖于对切空间 $T$ 和正交补空间 $T^\perp$ 中误差的界，利用 $M$ 的奇异向量的无偏性界。
• 通过分析 $\|W_k\|_F$ 的衰减以及 $\mathcal{P}_{T^\perp}(Y)$ 的范数，推导出理论保证，证明在给定假设下其值小于 $1/2$。

实验结果

研究问题

• RQ1 是否可以对任意低秩矩阵使用固定索引集 $\Omega$ 实现通用的矩阵补全，且独立于待恢复矩阵？
• RQ2 在非独立同分布均匀采样之外，采样模式 $\Omega$ 的何种结构属性控制低秩矩阵的可恢复性？
• RQ3 与 $\Omega$ 关联的二分图 $\mathcal{G}$ 的谱间隙条件是否能通过核范数最小化实现精确恢复？
• RQ4 在对矩阵 $M$ 施加更强的无偏性假设时，样本复杂度能否从 $O(nr\log n)$ 降低至 $O(nr^2)$？
• RQ5 标准无偏性条件是否足以实现通用恢复，还是需要更强的变体？

主要发现

• 若采样模式 $\Omega$ 对应的二分图 $\mathcal{G}$ 具有足够大的谱间隙，则任何秩为 $r$ 的 $n \times n$ 矩阵均可通过核范数最小化实现精确恢复。
• 对于 $d$-正则二分图且 $\sigma_2(G) = O(\sqrt{d})$（即展开图），$O(nr^2)$ 个均匀采样的条目足以实现精确恢复。
• 样本复杂度 $O(nr^2)$ 优于标准的 $O(nr\log n)$ 边界，尤其在秩为常数时优势显著。
• 图 $\mathcal{G}$ 的谱间隙是可恢复性的主导因素，经验结果表明成功概率随谱间隙线性增长，与样本数量无关。
• 标准无偏性条件本身不足以实现通用恢复；必须采用更强的无偏性条件（称为 $A2$）才能实现 $O(nr^2)$ 的样本复杂度。
• 理论分析证实，通过高尔夫法构造的对偶证书在 $d \geq \sigma_2(G) \cdot r$ 且满足无偏性条件时，可确保精确恢复。