[论文解读] On the Power of Adaptivity in Matrix Completion and Approximation

Akshay Krishnamurthy, Aarti Singh|arXiv (Cornell University)|Jul 14, 2014

Sparse and Compressive Sensing Techniques参考文献 38被引用 27

一句话总结

该论文提出了一种用于低秩矩阵补全与逼近的自适应采样算法，消除了对行空间非一致性假设的需求，仅需 $ O(nr\mu_0\log^2 r) $ 个样本即可实现对 $ n \times n $ 秩-$ r $ 矩阵的精确恢复。该方法通过自适应选择信息量丰富的列，并将剩余列投影到其张成空间中，相较于被动方法，实现了更优的样本复杂度。

ABSTRACT

We consider the related tasks of matrix completion and matrix approximation from missing data and propose adaptive sampling procedures for both problems. We show that adaptive sampling allows one to eliminate standard incoherence assumptions on the matrix row space that are necessary for passive sampling procedures. For exact recovery of a low-rank matrix, our algorithm judiciously selects a few columns to observe in full and, with few additional measurements, projects the remaining columns onto their span. This algorithm exactly recovers an $n imes n$ rank $r$ matrix using $O(nrμ_0 \log^2(r))$ observations, where $μ_0$ is a coherence parameter on the column space of the matrix. In addition to completely eliminating any row space assumptions that have pervaded the literature, this algorithm enjoys a better sample complexity than any existing matrix completion algorithm. To certify that this improvement is due to adaptive sampling, we establish that row space coherence is necessary for passive sampling algorithms to achieve non-trivial sample complexity bounds. For constructing a low-rank approximation to a high-rank input matrix, we propose a simple algorithm that thresholds the singular values of a zero-filled version of the input matrix. The algorithm computes an approximation that is nearly as good as the best rank-$r$ approximation using $O(nrμ\log^2(n))$ samples, where $μ$ is a slightly different coherence parameter on the matrix columns. Again we eliminate assumptions on the row space.

研究动机与目标

• 解决被动矩阵补全与逼近算法对矩阵行空间强非一致性假设的依赖问题。
• 证明通过聚焦于信息量丰富的列，自适应采样可实现优于被动方法的样本复杂度。
• 在无需行空间非一致性假设的前提下，为精确矩阵恢复与低秩逼近提供理论保证。
• 建立下界，证明在缺乏行空间非一致性时，被动算法需要 $ \Omega(n^2) $ 个样本，从而证明自适应的必要性。
• 提出一种简单且可扩展的算法，通过零填充矩阵的阈值奇异值实现矩阵逼近。

提出的方法

• 矩阵补全算法自适应地选择若干列进行完整观测，并将所有剩余列投影到其张成空间中，以实现精确恢复。
• 对于矩阵逼近，算法计算零填充矩阵的SVD，并对奇异值进行阈值处理，生成低秩逼近。
• 自适应采样聚焦于能量较高或具有新方向信息的列，从而在更少样本下提升估计精度。
• 该方法利用列空间上的相干性参数 $ \mu_0 $ 和 $ \mu $ 来界定样本复杂度，消除了对行空间相干性的依赖。
• 理论分析基于集中不等式与谱范数界，表明逼近误差在最佳可能的秩-$ r $ 逼近的常数倍之内。
• 采用两阶段采样策略：首先通过子采样估计列范数，然后基于估计的重要性自适应采样。

实验结果

研究问题

• RQ1 自适应采样能否在矩阵补全与逼近中消除对行空间非一致性假设的需求？
• RQ2 在自适应采样下，精确矩阵恢复所需的最少样本数是多少？与被动方法相比如何？
• RQ3 当缺乏行空间非一致性时，被动算法的样本复杂度是否存在根本性下界？
• RQ4 自适应采样如何提升高秩矩阵逼近中的样本效率？
• RQ5 基于零填充矩阵的简单阈值化算法能否以最少采样量实现具有竞争力的逼近质量？

主要发现

• 所提出的矩阵补全算法使用 $ O(nr\mu_0\log^2 r) $ 个样本，可精确恢复 $ n \times n $ 秩-$ r $ 矩阵，其中 $ \mu_0 $ 为列空间相干性参数。
• 该算法的样本复杂度优于所有现有矩阵补全方法，且完全消除了对矩阵行空间的所有假设。
• 下界分析表明，在缺乏行空间非一致性时，被动采样需要 $ \Omega(n^2) $ 个样本，从而证明了自适应的必要性。
• 对于矩阵逼近，该算法使用 $ O(nr\mu\log^2 n) $ 个样本，逼近误差与最佳秩-$ r $ 逼近具有可比性。
• 在非均匀能量分布（如存在异常值或热门项目）的情况下，该方法显著优于被动采样。
• 理论分析证实，自适应采样降低了对最大列范数的依赖，从而在偏斜数据分布中表现出更强的鲁棒性。