[论文解读] Low-Rank Matrix and Tensor Completion via Adaptive Sampling

Akshay Krishnamurthy, Aarti Singh|arXiv (Cornell University)|Apr 17, 2013

Sparse and Compressive Sensing Techniques参考文献 25被引用 87

一句话总结

本文提出了用于低秩矩阵与张量补全的自适应采样算法，通过聚焦于信息量丰富的列，显著降低了样本复杂度。通过利用自适应性来选择最能揭示列空间的列，该方法仅需 Ω(nr^{3/2} log r) 个样本即可实现 n×n 秩为 r 的矩阵的精确恢复，优于被动方法，并消除了对行空间非一致性假设的需求。

ABSTRACT

We study low rank matrix and tensor completion and propose novel algorithms that employ adaptive sampling schemes to obtain strong performance guarantees. Our algorithms exploit adaptivity to identify entries that are highly informative for learning the column space of the matrix (tensor) and consequently, our results hold even when the row space is highly coherent, in contrast with previous analyses. In the absence of noise, we show that one can exactly recover a n × n matrix of rank r from merely Ω(nr^3/2 log(r)) matrix entries. We also show that one can recover an order T tensor using Ω(nr^{T −1/2}T² log(r)) entries. For noisy recovery, our algorithm consistently estimates a low rank matrix corrupted with noise using Ω(nr^3/2polylog(n)) entries. We complement our study with simulations that verify our theory and demonstrate the scalability of our algorithms.

研究动机与目标

• 开发自适应采样算法，以减少低秩矩阵与张量补全所需的样本数量。
• 消除先前工作中对行空间非一致性假设的依赖。
• 为无噪声和有噪声的矩阵与张量补全提供理论上的样本复杂度边界。
• 通过模拟实验展示方法的可扩展性与经验有效性。
• 在缺失数据条件下，改进现有子空间检测与列子集选择的结果。

提出的方法

• 该算法自适应地选择矩阵或张量中对估计列空间最具信息量的列。
• 采用流式处理方法，依次识别并采样能最大程度提升对潜在低秩结构信息量的列。
• 在有噪声恢复场景中，该方法将 Dhepande 等人 [10] 的列子集选择方法扩展以处理缺失数据与噪声。
• 利用浓度不等式（包括 Bernstein 不等式）推导理论保证，以界定向列空间与子空间恢复误差。
• 利用随机矩阵理论与非一致性的性质，确保即使行空间具有非一致性，也能实现稳定恢复。
• 对于张量，该算法将列采样策略扩展至高阶模式，利用模式-t 子张量指导自适应选择。

实验结果

研究问题

• RQ1 自适应采样能否将精确低秩矩阵补全所需的样本数量降低至被动采样方法的界限以下？
• RQ2 自适应性是否允许在不依赖矩阵行空间非一致性的情况下实现精确恢复？
• RQ3 使用自适应采样进行精确张量补全的最优样本复杂度是多少？
• RQ4 与被动方法相比，自适应采样在存在噪声时表现如何？
• RQ5 所提出的方法能否在部分观测条件下改进现有的列子集选择与子空间检测技术？

主要发现

• 本文证明，仅需 Ω(nr^{3/2} log r) 个自适应采样的样本，即可实现 n×n 秩为 r 的矩阵的精确恢复，优于被动采样的 Ω(nr^2 log^2 n) 边界。
• 对于 T 阶张量，该方法使用 Ω(nr^{T-1/2T^2} log r) 个样本实现了精确恢复，首次为精确张量补全提供了样本复杂度上界。
• 该算法首次为具有非一致行空间的矩阵补全提供了理论保证，消除了先前工作中的关键限制。
• 在有噪声场景下，该方法使用 Ω(nr^{3/2} polylog(n)) 个样本实现了稳定的低秩逼近，且无需行空间非一致性假设。
• 理论分析表明，该自适应策略与任何被动算法具有可比性，因为该方法匹配了张量补全中随机采样的必要条件。
• 模拟实验验证了理论发现，并展示了所提自适应采样方法的可扩展性与实际有效性。