[论文解读] Concentration-Based Guarantees for Low-Rank Matrix Reconstruction

Rina Foygel, Nathan Srebro|arXiv (Cornell University)|Feb 18, 2011

Sparse and Compressive Sensing Techniques参考文献 16被引用 47

一句话总结

本文通过利用最大范数作为秩的代理，并结合最大范数与迹范数球的雷米奇复杂度分析，为低秩矩阵恢复提供了改进的重构保证。结果表明，最大范数正则化在无噪声恢复中实现了 $ O\left(\frac{r(n+m)}{\epsilon} \cdot \log^3(1/\epsilon)\right) $ 的样本复杂度，优于近期研究，其优势在于避免了非一致性假设且降低了维度的对数依赖。

ABSTRACT

We consider the problem of approximately reconstructing a partially-observed, approximately low-rank matrix. This problem has received much attention lately, mostly using the trace-norm as a surrogate to the rank. Here we study low-rank matrix reconstruction using both the trace-norm, as well as the less-studied max-norm, and present reconstruction guarantees based on existing analysis on the Rademacher complexity of the unit balls of these norms. We show how these are superior in several ways to recently published guarantees based on specialized analysis.

研究动机与目标

• 为使用最大范数和迹范数作为秩的代理的低秩矩阵重构提供泛化保证。
• 证明最大范数正则化在较弱假设下可获得强于近期最先进方法的理论保证。
• 分析雷米奇复杂度、矩阵范数与低秩结构之间的关系，以实现近似矩阵重构。
• 比较近似低秩矩阵恢复中替换与不替换抽样的情况，建立两者之间的严格联系。
• 证明无论选择何种估计器，对矩阵尖峰性（spikiness）的假设对于有界均方误差重构都是必要的。

提出的方法

• 以 Srebro 和 Shraibman（2005）关于最大范数和迹范数单位球的雷米奇复杂度分析为基础。
• 将雷米奇复杂度界与涉及秩、最大范数和迹范数的范数不等式相结合，推导出泛化保证。
• 应用浓度不等式，以底层矩阵的最大范数和迹范数表示过剩风险的上界。
• 通过条件数 $\kappa$ 和相干性 $\mu_0$ 将最大范数与弗罗贝尼乌斯范数及谱性质关联，推导出样本复杂度界。
• 证明最大范数正则化避免了非一致性假设，并相比先前工作降低了维度的对数依赖。
• 利用最大范数的基于分解的表示形式，以低秩因子的行与列范数为基准，界定了其取值。

实验结果

研究问题

• RQ1 最大范数与迹范数球的雷米奇复杂度分析，是否能为低秩矩阵恢复提供比专门分析更紧的重构保证？
• RQ2 在样本复杂度与假设方面，最大范数正则化与迹范数相比如何，特别是在非一致性与噪声结构方面？
• RQ3 矩阵尖峰性（即 $\|X\|_\infty = O(1)$）对低秩矩阵重构的样本复杂度有何影响？
• RQ4 在近似矩阵恢复的背景下，能否严格形式化替换与不替换抽样之间的关系？
• RQ5 是否存在一种方法，使得无论使用何种估计器，要实现有界均方误差重构，尖峰性假设都是必要的？

主要发现

• 最大范数正则化估计器在无噪声恢复中实现了 $ O\left(\frac{r(n+m)}{\epsilon} \cdot \log^3(1/\epsilon)\right) $ 的样本复杂度，避免了维度的对数依赖与非一致性假设。
• 在近似低秩情形下，噪声为 $\sigma^2$ 时，样本复杂度为 $ O\left(\frac{r(n+m)}{\epsilon} \cdot \frac{\sigma^2 + \epsilon}{\epsilon} \cdot \log^3(1/\epsilon)\right) $，其 $\epsilon$ 依赖性略差于某些近期结果。
• 该方法无需独立同分布噪声或非一致性条件，因此比先前方法更具鲁棒性。
• 本文证明，对于有界均方误差重构，尖峰性假设（$\|X\|_\infty = O(1)$）是必要的，无论使用何种估计器。
• 在对称或条件数较低的情况下，最大范数界可显著优于引理5中的最坏情况界，从而改善实际样本复杂度。
• 分析表明，在某些情形下，最大范数类的雷米奇复杂度可提供优于迹范数的泛化保证，尤其当底层矩阵非非一致性时。