[论文解读] Low-Rank Matrix Completion with Adversarial Missing Entries.

Tselil Schramm, Benjamin Weitz|arXiv (Cornell University)|Jun 9, 2015

Tensor decomposition and applications参考文献 2被引用 5

一句话总结

本文在对抗性缺失模式下建立了低秩矩阵补全的精确恢复保证，表明即使在常数秩的 n×n 矩阵中，每行每列缺失多达 Ω(n) 个条目时，核范数最小化仍能恢复矩阵。此外，本文还提出了一种张量补全算法，用于学习多项式分布的混合模型，实现了在 Ω(n) 个线性无关中心情况下的多项式时间恢复，以及一般情况下的准多项式时间恢复。

ABSTRACT

We show that, so long as the number of missing entries in any row or column is bounded by a function of the dimension, rank, and incoherence of the matrix, nuclear norm minimization recovers the target matrix exactly. The range for which this guarantee holds is surprisingly large--in an $n imes n$ matrix of constant rank, there may be as many as $\Omega(n)$ entries missing in every row and column. Conversely, if only constantly many entries are missing in any row or column, then we may recover matrices of rank $\Omega(n)$. We also use adversarial matrix completion to give an algorithm for completing an order-$m$ symmetric low-rank tensor from its multilinear entries in time roughly proportional to the number of tensor entries. We apply our tensor completion algorithm to the problem of learning mixtures of product distributions over the hypercube, obtaining new algorithmic results. If the centers of the product distribution are linearly independent, then we recover distributions with as many as $\Omega(n)$ centers in polynomial time and sample complexity. In the general case, we recover distributions with as many as $ ilde\Omega(n)$ centers in quasi-polynomial time, answering an open problem of Feldman et al. (SIAM J. Comp.) for the special case of distributions with incoherent bias vectors.

研究动机与目标

• 建立当缺失条目以对抗性方式分布时，低秩矩阵补全的理论恢复保证。
• 分析仍可通过核范数最小化实现精确恢复的每行每列最大缺失条目数量。
• 将矩阵补全技术扩展至对称低秩张量补全，以学习多项式分布的混合模型。
• 通过在非退化条件下提供多项式时间算法，解决 Feldman 等人关于学习非退化产品分布的开放问题。

提出的方法

• 本文采用核范数最小化作为核心恢复方法，证明其在受限对抗性缺失条目下可精确恢复低秩矩阵。
• 基于矩阵维度、秩和非退化参数，建立了每行每列缺失条目数量的上界。
• 该方法利用矩阵非退化性和秩约束，确保核范数最小化问题具有唯一低秩解。
• 对于张量补全，通过利用多线性结构和对称性，将问题转化为矩阵补全问题。
• 将张量补全算法应用于超立方体上多项式分布混合模型的学习。
• 该算法通过结构化采样和低秩假设，实现了多项式或准多项式时间内的高效恢复。

实验结果

研究问题

• RQ1 在通过核范数最小化实现低秩矩阵精确恢复的前提下，每行每列最多可容忍多少个对抗性缺失条目？
• RQ2 当仅能观测到多线性条目时，是否能高效实现张量补全？这与学习产品分布有何关联？
• RQ3 在何种条件下，可对具有 Ω(n) 个中心的多项式分布混合模型实现多项式时间学习？
• RQ4 该方法是否解决了 Feldman 等人关于学习非退化产品分布的开放问题？

主要发现

• 对于常数秩的 n×n 矩阵，即使每行每列缺失多达 Ω(n) 个条目，核范数最小化仍能精确恢复矩阵。
• 若每行每列仅缺失常数量的条目，则可精确恢复秩为 Ω(n) 的矩阵。
• 张量补全算法的运行时间大致与张量条目数量成正比，从而实现了对结构化分布的高效学习。
• 对于具有线性无关中心的多项式分布混合模型，该方法可在多项式时间与样本复杂度下恢复具有 Ω(n) 个中心的分布。
• 在一般情况下，当偏差向量非退化时，该方法实现了准多项式时间恢复，解决了 Feldman 等人针对此特殊情况的开放问题。