[论文解读] Computational Limits for Matrix Completion

Moritz Hardt, Raghu Meka+2 more|arXiv (Cornell University)|Feb 10, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用 32

一句话总结

该论文在自然松弛条件下建立了低秩矩阵补全问题的计算困难性：即使在非相干性假设下，90%的条目被揭示，并允许常数阶解（最高至秩100），该问题在假设4-着色问题困难的前提下仍为不可解。作者首次在这些松弛条件下证明了实值矩阵补全问题的复杂性理论下界，表明分布性假设（如均匀采样）对于可解性至关重要。

ABSTRACT

Matrix Completion is the problem of recovering an unknown real-valued low-rank matrix from a subsample of its entries. Important recent results show that the problem can be solved efficiently under the assumption that the unknown matrix is incoherent and the subsample is drawn uniformly at random. Are these assumptions necessary? It is well known that Matrix Completion in its full generality is NP-hard. However, little is known if make additional assumptions such as incoherence and permit the algorithm to output a matrix of slightly higher rank. In this paper we prove that Matrix Completion remains computationally intractable even if the unknown matrix has rank $4$ but we are allowed to output any constant rank matrix, and even if additionally we assume that the unknown matrix is incoherent and are shown $90%$ of the entries. This result relies on the conjectured hardness of the $4$-Coloring problem. We also consider the positive semidefinite Matrix Completion problem. Here we show a similar hardness result under the standard assumption that $\mathrm{P} e \mathrm{NP}.$ Our results greatly narrow the gap between existing feasibility results and computational lower bounds. In particular, we believe that our results give the first complexity-theoretic justification for why distributional assumptions are needed beyond the incoherence assumption in order to obtain positive results. On the technical side, we contribute several new ideas on how to encode hard combinatorial problems in low-rank optimization problems. We hope that these techniques will be helpful in further understanding the computational limits of Matrix Completion and related problems.

研究动机与目标

• 填补现有正面结果与矩阵补全问题计算下界之间的差距。
• 探究诸如允许更高秩解和近似一致性等松弛是否能使矩阵补全问题变得可解。
• 确定非相干性假设本身是否足以实现高效恢复，或是否需要额外的分布性假设（如均匀采样）。
• 在自然算法松弛下，首次建立实值矩阵补全问题的逼近困难性结果。
• 在正定矩阵和低秩设置背景下，探索矩阵补全问题的计算极限。

提出的方法

• 从4-着色问题到矩阵补全问题的归约，通过正交基旋转将图着色约束编码为低秩矩阵约束。
• 利用内积约束设计变量与子句部件，以在矩阵条目中编码真值赋值与逻辑满足性。
• 构建一个秩为4的矩阵，其中90%的条目被揭示，使得任何秩100的解均对应一个有效的4-着色方案。
• 在二维子空间中使用正交变换来建模二元选择（如+1或-1赋值），从而在低秩结构中实现组合编码。
• 通过小实例的分块对角构造，将结果扩展至正定矩阵补全问题。
• 从Exact-one-in-k-SAT问题归约，以处理容错型矩阵补全，利用微小扰动建模近似一致性。

实验结果

研究问题

• RQ1 当未知矩阵为低秩（如秩4）、假设非相干性且90%条目被揭示时，矩阵补全是否仍为计算困难问题？
• RQ2 在非相干性和部分条目观测条件下，若允许解的秩为常数（高于真实秩），矩阵补全是否可在多项式时间内求解？
• RQ3 非相干性假设本身是否足以确保可解性，还是必须依赖额外的分布性假设（如均匀采样）？
• RQ4 在$(k,r)$-补全问题中，真实秩$k$与允许解的秩$r$之间，硬度的精确阈值是什么？
• RQ5 当条目以均匀随机方式揭示，但矩阵不满足非相干性时，矩阵补全是否仍为困难问题？

主要发现

• 即使在90%条目被揭示、允许解的秩最高达100且假设非相干性的条件下，秩为4的矩阵补全问题仍为计算不可解。
• 该困难性结果依赖于4-着色问题困难性的假设，从而在合理假设下建立了复杂性理论障碍。
• 作者首次在自然松弛条件下为实值矩阵补全问题提供了逼近困难性结果。
• 对于正定矩阵补全问题，该问题在标准复杂性假设下为NP难，无需额外猜想。
• 归约技术通过正交基旋转和内积约束，将组合问题（如4-着色和Exact-one-in-k-SAT）编码为低秩矩阵约束。
• 结果表明，仅靠非相干性不足以保证可解性，分布性假设（如均匀采样）对于高效恢复至关重要。