[论文解读] Average-case Hardness of RIP Certification

Tengyao Wang, Quentin Berthet+1 more|arXiv (Cornell University)|May 31, 2016

Sparse and Compressive Sensing Techniques参考文献 38被引用 6

一句话总结

本文证明，在较弱的稠密子图检测假设下，即使在平均情况下，对随机设计矩阵的受限等距性（RIP）进行认证在计算上也是困难的。研究表明，当观测数 $ n $ 低于 $ k^{1+\theta}/\theta^2 $ 时，对于任意 $ \theta < 1 $，均不存在高效的平均情况认证方法，这表明理论上随机矩阵可实现的性能与实践中可高效认证的性能之间存在显著差距。

ABSTRACT

The restricted isometry property (RIP) for design matrices gives guarantees for optimal recovery in sparse linear models. It is of high interest in compressed sensing and statistical learning. This property is particularly important for computationally efficient recovery methods. As a consequence, even though it is in general NP-hard to check that RIP holds, there have been substantial efforts to find tractable proxies for it. These would allow the construction of RIP matrices and the polynomial-time verification of RIP given an arbitrary matrix. We consider the framework of average-case certifiers, that never wrongly declare that a matrix is RIP, while being often correct for random instances. While there are such functions which are tractable in a suboptimal parameter regime, we show that this is a computationally hard task in any better regime. Our results are based on a new, weaker assumption on the problem of detecting dense subgraphs.

研究动机与目标

• 研究受限等距性（RIP）是否能在平均情况设置下被高效地认证于随机设计矩阵。
• 确定可计算认证的可行计算极限，特别是在接近信息论阈值 $ n \sim k\log p / \theta^2 $ 的区域。
• 弥合随机矩阵的理论保证与计算上高效的实用认证方法之间的差距。
• 建立即使在平均情况下的RIP认证也是困难的结论，当 $ n \ll k^{1+\alpha}/\theta^2 $ 且 $ \alpha < 1 $ 时，基于一个较弱的稠密子图检测假设。
• 阐明现有可计算代理（如非相干性）的局限性，这些代理在 $ p \geq 2n $ 时无法保证恢复性能。

提出的方法

• 引入平均情况认证器的框架：即从不错误声称某矩阵满足RIP，但能正确识别出大多数随机实例的函数。
• 将RIP认证问题约化为与检测稠密子图相关的较弱假设，受植 clique 假设的启发。
• 使用浓度不等式和次高斯尾部界分析二次型及随机矩阵元素的偏差行为。
• 应用McDiarmid不等式来限制随机采样矩阵中非零行数的偏差，通过超几何类似过程建模行占用情况。
• 对次高斯和次指数变量使用矩生成函数界，以控制矩阵范数分析中的尾部概率。
• 构建从稠密子图检测到RIP认证的归约，表明若能高效检测稠密子图，则也能高效认证RIP。

实验结果

研究问题

• RQ1 能否在平均情况设置下高效认证随机设计矩阵的受限等距性（RIP）？
• RQ2 是否存在一个计算上高效的函数，能正确识别出大多数随机矩阵的RIP性质，且从不错误认证？
• RQ3 在何种计算阈值以下，即使在合理的复杂性假设下，平均情况下的RIP认证也变得不可能？
• RQ4 样本量 $ n $ 如何与稀疏度水平 $ k $ 和等距常数 $ \theta $ 相关联，以决定高效认证的可行性？
• RQ5 现有可计算代理（如非相干性）在多大程度上无法捕捉真实的RIP行为，特别是在 $ p \geq 2n $ 时？

主要发现

• 在弱稠密子图检测假设下，当 $ n \ll k^{1+\alpha}/\theta^2 $ 且任意 $ \alpha < 1 $ 时，不存在计算上高效的平均情况RIP认证器。
• 该困难结果表明，即使随机矩阵在 $ n \sim k \log p / \theta^2 $ 时以高概率满足RIP，高效认证仍需接近 $ k^2 \log p / \theta^2 $ 个观测值。
• 这确立了RIP的信息论阈值与计算上可行的认证阈值之间的巨大差距。
• 该结果在给定假设下排除了通过认证构建最优RIP矩阵的高效拉斯维加斯算法的存在性。
• 现有可计算代理（如非相干性）在 $ p \geq 2n $ 时不足以保证恢复性能，因为其要求 $ n \sim k^2 $，这并非最优。
• 本文提供了强有力的证据，表明在接近最优区域，即使在平均情况设置下，RIP认证在根本上也是困难的，前提是一个合理的复杂性理论假设。