[论文解读] A Quotient Property for Matrices with Heavy-Tailed Entries and its Application to Noise-Blind Compressed Sensing

Felix Krahmer, Christian Kümmerle+1 more|arXiv (Cornell University)|Jun 11, 2018

Sparse and Compressive Sensing Techniques参考文献 11被引用 10

一句话总结

该论文为具有重尾分布的随机矩阵建立了 $ι_{1}$-商性质，证明了此类矩阵以高概率支持鲁棒、噪声无关的 $ι_{1}$-最小化对稀疏向量的恢复。关键贡献在于提出了一套统一的分析方法，将先前仅适用于次高斯和高斯分布的结果推广至更广义的分布，显示出对超高斯分布的更优鲁棒性。

ABSTRACT

For a large class of random matrices $A$ with i.i.d. entries we show that the $\ell_1$-quotient property holds with probability exponentially close to 1. In contrast to previous results, our analysis does not require concentration of the entrywise distributions. We provide a unified proof that recovers corresponding previous results for (sub-)Gaussian and Weibull distributions. Our findings generalize known results on the geometry of random polytopes, providing lower bounds on the size of the largest Euclidean ball contained in the centrally symmetric polytope spanned by the columns of $A$. At the same time, our results establish robustness of noise-blind $\ell_1$-decoders for recovering sparse vectors $x$ from underdetermined, noisy linear measurements $y = Ax + w$ under the weakest possible assumptions on the entrywise distributions that allow for recovery with optimal sample complexity even in the noiseless case. Our analysis predicts superior robustness behavior for measurement matrices with super-Gaussian entries, which we confirm by numerical experiments.

研究动机与目标

• 将 $ι_{1}$-商性质扩展至具有重尾、非集中特性的随机矩阵，超越次高斯和高斯模型。
• 在无需事先知晓噪声水平的前提下，建立 $ι_{1}$-最小化在压缩感知中鲁棒、噪声无关的恢复保证。
• 在统一的分析框架下整合现有的随机多面体几何与 $ι_{1}$-最小化结果，适用于广泛分布类。
• 理论上并数值上证明，具有超高斯分布条目的测量矩阵在噪声恢复中表现出更优的鲁棒性。
• 提供对随机多面体 $AB_{1}^{N}$ 的内径的紧致概率下界，推广了 Gluskin-Kashin 和 Litvak 类型的结果。

提出的方法

• 构建了一套统一的证明框架，避免使用集中不等式，转而依赖独立同分布的重尾条目的矩和尾部估计。
• 引入相对于范数 $\|\cdot\|^{(\sqrt{\log(eN/m)})}$ 的修改版 $ι_{1}$-商性质，以捕捉测量矩阵对 $ι_{1}$-球体像的几何结构。
• 应用零空间性质（NSP）和 Stchekin 估计，推导出在噪声无关 $ι_{1}$-最小化下 $1 \leq p \leq 2$ 范围内的 $\ell_{p}$-范数误差界。
• 使用截断论证和向量 $\tilde{z}$ 的概率构造方法，满足 $A\tilde{z} = w$ 且 $\ell_{1}$-范数受控，以界定重构误差。
• 结合商性质和零空间性质的高概率事件，推导出以高置信度实现的稳定恢复。
• 采用小球方法和矩界处理仅具有 $\log(N)$ 有限矩的分布，避免强集中假设。

实验结果

研究问题

• RQ1 能否在不满足强集中性的重尾分布随机矩阵上建立 $ι_{1}$-商性质？
• RQ2 当测量矩阵具有超高斯条目时，噪声无关 $ι_{1}$-最小化是否能实现对稀疏向量的稳定且鲁棒的恢复？
• RQ3 在矩阵条目弱矩假设下，恢复的最优样本复杂度是多少？
• RQ4 对于重尾矩阵，随机多面体 $AB_{1}^{N}$ 的几何结构——特别是其内径——表现如何？
• RQ5 能否通过单一分析框架同时恢复次高斯和高斯矩阵的已知结果，并推广至更重尾的分布？

主要发现

• 对于满足仅 $\log(N)$ 个有限矩的 $m \times N$ 随机矩阵，其 $ι_{1}$-商性质以指数接近 1 的概率成立。
• 即使对于重尾条目，随机多面体 $AB_{1}^{N}$ 的内径下界为 $\Omega(\sqrt{\log(eN/m)})$ 倍的欧几里得范数。
• 噪声无关 $ι_{1}$-最小化实现了形式为 $\|x - \Delta_{1,\eta}(Ax + w)\|_p \leq C \sigma_s(x)_1 / s^{1-1/p} + D \eta + E \|w\|^{(\sqrt{\log(eN/m)})}$ 的 $\ell_{p}$-误差界，其中常数与噪声水平无关。
• 重构误差在稀疏度 $s$ 和噪声水平 $\eta$ 上表现出最优标度，且在噪声未知时仍具鲁棒性。
• 数值实验表明，超高斯条目（如拉普拉斯分布）相比次高斯或高斯条目能实现更优的鲁棒性。
• 该分析统一并推广了先前针对次高斯和高斯矩阵的研究结果，将已知的内径和零空间性质界作为特例恢复。