[论文解读] A Perturbation Inequality for the Schatten-$p$ Quasi-Norm and Its Applications to Low-Rank Matrix Recovery

Man–Chung Yue, Anthony Man–Cho So|arXiv (Cornell University)|Sep 3, 2012

Sparse and Compressive Sensing Techniques参考文献 31被引用 4

一句话总结

本文建立了关于 Schatten $p$-准范数的基本扰动不等式，证明了两个矩阵的奇异值的 $p$-次幂的绝对差之和，受其差的奇异值的 $p$-次幂之和的有界。该结果证实了长期猜想的基于 Schatten $p$-准范数启发式方法的低秩矩阵恢复条件，使该方法的性能能够进行严格的理论分析，并将稀疏向量恢复中的技术推广至低秩矩阵场景。

ABSTRACT

In this paper, we establish the following perturbation result concerning the singular values of a matrix: Let $A,B \in \mathbb{R}^{m imes n}$ be given matrices, and let $f:\mathbb{R}_+ ightarrow\mathbb{R}_+$ be a concave function satisfying $f(0)=0$. Then, we have $$ \sum_{i=1}^{\min\{m,n\}} \big| f(σ_i(A)) - f(σ_i(B)) \big| \le \sum_{i=1}^{\min\{m,n\}} f(σ_i(A-B)), $$ where $σ_i(\cdot)$ denotes the $i$--th largest singular value of a matrix. This answers an open question that is of interest to both the compressive sensing and linear algebra communities. In particular, by taking $f(\cdot)=(\cdot)^p$ for any $p \in (0,1]$, we obtain a perturbation inequality for the so--called Schatten $p$--quasi--norm, which allows us to confirm the validity of a number of previously conjectured conditions for the recovery of low--rank matrices via the popular Schatten $p$--quasi--norm heuristic. We believe that our result will find further applications, especially in the study of low--rank matrix recovery.

研究动机与目标

• 解决矩阵分析与压缩感知领域中关于凹函数的奇异值扰动不等式有效性的开放问题。
• 为低秩矩阵恢复中的 Schatten $p$-准范数启发式方法建立理论基础，特别是针对 $p \in (0,1)$ 的情形。
• 确认先前关于 Schatten $p$-准范数最小化问题的零空间与受限等距性恢复条件的猜想。
• 通过一种新颖的奇异值不等式，将稀疏恢复中 $\ell_p$-最小化的技术推广至矩阵设置。
• 为分析低秩矩阵恢复算法的性能与鲁棒性，提供一个严格的数学工具。

提出的方法

• 推导出任意满足 $f(0) = 0$ 的凹函数 $f$ 的一般扰动不等式，证明 $\sum_i |f(\sigma_i(A)) - f(\sigma_i(B))| \leq \sum_i f(\sigma_i(A - B))$。
• 将该不等式应用于 $f(x) = x^p$（$p \in (0,1]$），得到 Schatten $p$-准范数的扰动界。
• 利用该不等式，推导出使用 Schatten $p$-准范数启发式方法实现低秩矩阵精确恢复的必要与充分零空间条件。
• 将结果应用于推导基于受限等距性与受限 $p$-等距性的恢复条件。
• 利用稀疏恢复与矩阵分析中的已知结果，将 $\ell_p$-基于的恢复理论成功转化为矩阵设置。
• 运用矩阵理论、奇异值分解与凸分析工具，证明主不等式及其推论。

实验结果

研究问题

• RQ1 对于所有 $A, B \in \mathbb{R}^{m \times n}$ 与 $p \in (0,1)$，不等式 $\sum_i |\sigma_i^p(A) - \sigma_i^p(B)| \leq \sum_i \sigma_i^p(A - B)$ 是否成立？
• RQ2 该不等式能否用于推导出通过 Schatten $p$-准范数最小化实现低秩矩阵精确恢复的充分条件？
• RQ3 在多大程度上，可以将稀疏恢复中 $\ell_p$-最小化的方法论，通过该不等式推广至矩阵设置？
• RQ4 该不等式对低秩矩阵恢复中受限等距性与零空间性质有何影响？
• RQ5 该结果能否如猜想1所建议的那样，推广至奇异值的部分和？

主要发现

• 本文证明了对于任意满足 $f(0) = 0$ 的凹函数 $f$，有 $\sum_i |f(\sigma_i(A)) - f(\sigma_i(B))| \leq \sum_i f(\sigma_i(A - B))$，从而解决了矩阵分析领域的一个开放问题。
• 通过取 $f(x) = x^p$，作者建立了 Schatten $p$-准范数的有效扰动不等式，证实了低秩矩阵恢复中的一个关键猜想。
• 该不等式使得基于 Schatten $p$-准范数启发式方法实现低秩矩阵精确恢复的必要与充分零空间条件得以推导。
• 本文提出了两个新的恢复条件：一个基于受限等距性常数 $\alpha_{2k}$，另一个基于受限 $p$-等距性常数 $\beta_{p,ak}$，两者均在明确的参数约束下成立。
• 当 $p < 1.0873 \times (1 - \alpha_{2k})$ 时，若算子 $\mathcal{A}$ 满足阶数为 $2k$ 的受限等距性，则可保证精确恢复。
• 当 $\beta_{p,ak} + b\beta_{p,(a+1)k} < b - 1$ 且 $a = \lceil b^{2/(2-p)}k \rceil / k$ 时，基于受限 $p$-等距性条件，精确恢复成立。