[论文解读] Bounds on restricted isometry constants of random matrices

Mihailo Stojnic|arXiv (Cornell University)|Jun 17, 2013

Random Matrices and Applications参考文献 35被引用 3

一句话总结

本文提出了一种新颖的分析框架，通过利用先前在极端特征值估计和基于优化的提升技术方面的研究成果，对随机矩阵的受限等距常数（RICs）进行边界估计，特别关注下限 RICs。该方法在下限 RIC 估计方面优于传统的联合界法和尾部估计法，尤其在高维渐近情形下，通过数值优化和渐近分析验证了其有效性。

ABSTRACT

In this paper we look at isometry properties of random matrices. During the last decade these properties gained a lot attention in a field called compressed sensing in first place due to their initial use in \cite{CRT,CT}. Namely, in \cite{CRT,CT} these quantities were used as a critical tool in providing a rigorous analysis of $\ell_1$ optimization's ability to solve an under-determined system of linear equations with sparse solutions. In such a framework a particular type of isometry, called restricted isometry, plays a key role. One then typically introduces a couple of quantities, called upper and lower restricted isometry constants to characterize the isometry properties of random matrices. Those constants are then usually viewed as mathematical objects of interest and their a precise characterization is desirable. The first estimates of these quantities within compressed sensing were given in \cite{CRT,CT}. As the need for precisely estimating them grew further a finer improvements of these initial estimates were obtained in e.g. \cite{BCTsharp09,BT10}. These are typically obtained through a combination of union-bounding strategy and powerful tail estimates of extreme eigenvalues of Wishart (Gaussian) matrices (see, e.g. \cite{Edelman88}). In this paper we attempt to circumvent such an approach and provide an alternative way to obtain similar estimates.

研究动机与目标

• 提出一种新的方法，用于估计随机矩阵的受限等距常数（RICs），特别是下限 RIC，而无需依赖标准的联合界法和尾部估计技术。
• 提高下限 RIC 边界的准确性，这对于通过 $‘1$-最小化在 $β$-稀疏 $α$-欠定系统中保证精确恢复至关重要。
• 在 $n \to \infty$ 的渐近情形下，提供更紧致、更可靠的下限 RIC 期望值估计，其中 $k = \beta n$，$m = \alpha n$，且 $\beta < \alpha/2$。
• 通过数值优化和与现有边界的比较，验证所提方法的有效性，尤其在低 $\beta/\alpha$ 区域。

提出的方法

• 该方法基于 [35, 34] 的先前成果，采用一种提升技术，以加强下限 RIC $\xi_{\text{lric}}(\beta,\alpha)$ 的下界估计。
• 通过在参数 $c_3^{(s)}$ 上进行优化，将问题建模为一个约束优化问题，以最大化下界估计。
• 该方法避免对所有 $k$-稀疏子集进行联合界估计，而是通过连续松弛和变分原理，对稀疏向量上的最小奇异值进行边界估计。
• 该方法应用于 i.i.d. 高斯随机矩阵，假设列向量为单位范数，并在 $n \to \infty$ 的极限下推导出渐近边界，其中 $\alpha = m/n$，$\beta = k/n$。
• 优化过程通过数值方法完成，结果以表格形式列于表 9 中，展示了在多种 $\alpha$ 和 $\beta/\alpha$ 取值下，相比基线估计的下界显著提升。
• 该框架可推广至高斯以外的其他随机矩阵模型，如文献 [35] 所讨论。

实验结果

研究问题

• RQ1 我们能否推导出比传统联合界法和尾部估计法更紧致的下限受限等距常数 $\xi_{\text{lric}}(\beta,\alpha)$ 边界？
• RQ2 在低 $\beta/\alpha$ 区域，所提出的基于提升的优化策略如何改进 $\xi_{\text{lric}}$ 的估计？
• RQ3 与 $c_3^{(s)} \to 0$ 的极限相比，优化后的参数 $c_3^{(s)}$ 在多大程度上增强了下界？
• RQ4 在渐近 $n \to \infty$ 情形下，所提边界的值与 $\xi_{\text{lric}}$ 的真实期望值 $\mathbb{E}[\xi_{\text{lric}}]/\sqrt{m}$ 相距多近？
• RQ5 该方法能否扩展至具有类似性能的非高斯随机矩阵模型？

主要发现

• 当 $\beta/\alpha = 0.05$ 时，优化后的提升下界 $\xi_{\text{lric}}^{(l,lift)}$ 在 $\alpha = 0.9$ 时达到 0.5278，显著优于 $c_3^{(s)} \to 0$ 极限下的 0.4631。
• 当 $\beta/\alpha = 0.1$ 时，提升下界从基线的 0.3239 提升至 $\alpha = 0.9$ 时的 0.3969，显示出显著改进。
• 当 $\beta/\alpha = 0.3$ 时，提升下界在 $\alpha = 0.9$ 时达到 0.1599，而 $c_3^{(s)} \to 0$ 极限仅给出 0.0877，表明增强效果显著。
• 当 $\beta/\alpha = 0.5$ 时，提升下界仍为正（$\alpha = 0.9$ 时为 0.0590），而 $c_3^{(s)} \to 0$ 极限变为负值（-0.002），表明该方法在高稀疏度区域具有鲁棒性。
• 结果表明，所提方法产生的边界很可能接近真实渐近情形下的 $\mathbb{E}[\xi_{\text{lric}}]/\sqrt{m}$，尤其是在低 $\beta/\alpha$ 区域。
• 该方法在估计下限 RIC 方面优于传统方法，其改进在稀疏度较高的区域尤为显著，而传统方法在此类区域往往失效。