[论文解读] A simple proof that random matrices are democratic

Mark A. Davenport, Jason N. Laska+2 more|ArXiv.org|Nov 4, 2009

Sparse and Compressive Sensing Techniques参考文献 25被引用 49

一句话总结

本文提供了随机矩阵在压缩感知中具有民主性的简洁证明，即每项测量对信号提供的信息量大致相等。研究表明，即使少量测量丢失，只要测量数量略微增加，重构过程依然稳定，这得益于限制等距性质（RIP）确保了在对抗性删除测量情况下的鲁棒性。

ABSTRACT

The recently introduced theory of compressive sensing (CS) enables the reconstruction of sparse or compressible signals from a small set of nonadaptive, linear measurements. If properly chosen, the number of measurements can be significantly smaller than the ambient dimension of the signal and yet preserve the significant signal information. Interestingly, it can be shown that random measurement schemes provide a near-optimal encoding in terms of the required number of measurements. In this report, we explore another relatively unexplored, though often alluded to, advantage of using random matrices to acquire CS measurements. Specifically, we show that random matrices are democractic, meaning that each measurement carries roughly the same amount of signal information. We demonstrate that by slightly increasing the number of measurements, the system is robust to the loss of a small number of arbitrary measurements. In addition, we draw connections to oversampling and demonstrate stability from the loss of significantly more measurements.

研究动机与目标

• 正式定义并证明压缩感知中随机测量矩阵的民主性。
• 展示即使少量测量被对抗性删除，随机矩阵仍能保持稳定的信号重构。
• 证明略微增加测量数量可确保对任意测量丢失的鲁棒性。
• 将民主性与过采样及显著测量丢失下的稳定性联系起来。
• 为随机测量具有均匀信息量这一经验观察提供严格的理论基础。

提出的方法

• 作者将民主性定义为：只要子集大小足够，任何测量子集仍能实现稳定的信号重构，无论哪些测量丢失。
• 他们以限制等距性质（RIP）为关键工具，证明若矩阵满足常数为δ的RIP，则其在稀疏集合正交补空间上的投影能以受控因子保持范数。
• 证明依赖于利用RIP和正交投影性质，对投影向量与其原向量之间的内积进行有界。
• 他们推导出一个界，表明投影向量的范数至少为原始范数的 (1 - δ/(1-δ)) 倍，从而确保测量丢失下的稳定性。
• 分析考虑了测量子集被删除的情形，并证明剩余测量仍满足修改后的RIP条件。
• 该方法适用于i.i.d.次高斯随机矩阵，当 M = O(K log(N/K)) 时，以高概率满足RIP。

实验结果

研究问题

• RQ1 能否形式化证明压缩感知中随机矩阵的民主性，而非仅凭经验观察？
• RQ2 需要多少测量才能确保丢失任意D项测量后仍能实现稳定的信号重构？
• RQ3 民主性与限制等距性质（RIP）之间有何关系？
• RQ4 系统是否能在对抗性测量删除下保持稳定？若能，需满足何种条件？
• RQ5 过采样与民主性及测量丢失鲁棒性之间有何关联？

主要发现

• 随机矩阵具有民主性，即只要测量数为 M - D（其中D较小），任何大小为 M - D 的测量子集仍能以高概率恢复信号。
• 若测量数M略微增加，系统即使在对抗性删除任意D项测量的情况下仍保持鲁棒。
• 限制等距性质（RIP）常数δ确保稀疏向量在投影至稀疏集合正交补空间时范数得以保持，这是民主性的理论基础。
• 对范数保持性的界为 (1 - δ/(1-δ))，适用于支持集与被删除索引不相交的向量，从而保证测量丢失下的稳定性。
• 当 M = O(K log(N/K)) 时，该结果以高概率成立，这正是随机矩阵满足RIP的标准界。
• 民主性意味着任一测量均非关键，使系统对测量丢失或污染具有鲁棒性。