[论文解读] Coherent Matrix Completion

Srinadh Bhojanapalli, Yudong Chen+2 more|arXiv (Cornell University)|Jun 12, 2013

Sparse and Compressive Sensing Techniques被引用 10

一句话总结

本文提出了一种用于矩阵补全的有偏采样策略，该策略可实现对任意秩为 $ r $ 的 $ n \times n $ 矩阵的精确恢复，仅需随机选择 $ O(nr \log^2 n) $ 个条目，其中采样概率与行和列的杠杆度成比例。该方法被证明几乎是必要的，且该框架支持在杠杆度事先未知时的实际扩展。

ABSTRACT

Matrix completion, i.e., the exact and provable recovery of a low-rank matrix from a small subset of its elements, is currently only known to be possible if the matrix satisfies a restrictive structural constraint---known as {\em incoherence}---on its row and column spaces. In these cases, the subset of elements is sampled uniformly at random. In this paper, we show that {\em any} rank-$ r $ $ n$-by-$ n $ matrix can be exactly recovered from as few as $O(nr \log^2 n)$ randomly chosen elements, provided this random choice is made according to a {\em specific biased distribution}: the probability of any element being sampled should be proportional to the sum of the leverage scores of the corresponding row, and column. Perhaps equally important, we show that this specific form of sampling is nearly necessary, in a natural precise sense; this implies that other perhaps more intuitive sampling schemes fail. We further establish three ways to use the above result for the setting when leverage scores are not known extit{a priori}: (a) a sampling strategy for the case when only one of the row or column spaces are incoherent, (b) a two-phase sampling procedure for general matrices that first samples to estimate leverage scores followed by sampling for exact recovery, and (c) an analysis showing the advantages of weighted nuclear/trace-norm minimization over the vanilla un-weighted formulation for the case of non-uniform sampling.

研究动机与目标

• 为克服传统矩阵补全中限制性较强的无偏性假设，提出一种适用于任意低秩矩阵的采样方案。
• 建立采样概率与杠杆度成比例几乎是精确恢复所必需的，从而揭示均匀采样或直观采样策略的局限性。
• 为杠杆度事先未知的情况开发实用策略，包括单侧无偏性与两阶段采样流程。
• 证明在非均匀采样下，加权核范数最小化相较于未加权形式具有优越性。

提出的方法

• 提出一种采样分布，其中选择某个条目的概率与其所在行和列的杠杆度之和成比例。
• 利用此有偏采样方案，证明在高概率下，$ O(nr \log^2 n) $ 个条目足以实现精确的低秩矩阵恢复。
• 建立一个近乎紧致的下界，表明该采样策略在精确信息论意义下几乎是恢复所必需的。
• 引入一种两阶段采样流程：首先采样以估计杠杆度，然后根据推导出的分布进行目标采样以实现精确恢复。
• 分析在非均匀采样下加权核范数最小化的优点，表明其在恢复性能上优于标准核范数最小化。

实验结果

研究问题

• RQ1 是否可以在不依赖限制性无偏性条件的前提下，实现对任意低秩矩阵的矩阵补全？
• RQ2 采样概率与杠杆度成比例是否对精确恢复是必要或近乎必要？
• RQ3 如何将杠杆度估计整合进两阶段采样框架中以实现实际的矩阵补全？
• RQ4 在非均匀采样下，加权核范数最小化是否优于未加权最小化？

主要发现

• 当按照与杠杆度成比例的分布采样时，任意秩为 $ r $ 的 $ n \times n $ 矩阵均可从 $ O(nr \log^2 n) $ 个条目中精确恢复。
• 所提出的采样策略在精确恢复意义上几乎是必要的，意味着其他采样方案在精确的信息论意义上会失败。
• 对于仅具有一维无偏空间（行或列）的矩阵，采用改进的采样策略可实现 $ O(nr \log^2 n) $ 个样本下的精确恢复。
• 一种两阶段采样流程（先估计杠杆度，再进行目标采样）可在事先未知杠杆度的情况下，实现对一般矩阵的精确恢复。
• 在非均匀采样下，加权核范数最小化显著优于未加权最小化，尤其当采样偏向高杠杆度条目时表现更优。