[论文解读] Lower Bounds for Compressed Sensing with Generative Models

Akshay Kamath, Sushrut Karmalkar+1 more|arXiv (Cornell University)|Dec 6, 2019

Sparse and Compressive Sensing Techniques参考文献 8被引用 9

一句话总结

该论文为使用生成模型的压缩感知建立了紧致的下界，证明了对于 $L$-Lipschitz 生成模型，需要 $\Omega(k\log L)$ 次测量，与先前的上界一致。此外，该文构建了一个仅含两层隐藏层的 ReLU 神经网络，能够表示所有 $k$-稀疏向量，表明生成模型可推广稀疏性，并实现仅需 $O(k\log n)$ 次测量的高效恢复。

ABSTRACT

The goal of compressed sensing is to learn a structured signal $x$ from a limited number of noisy linear measurements $y \approx Ax$. In traditional compressed sensing, "structure" is represented by sparsity in some known basis. Inspired by the success of deep learning in modeling images, recent work starting with~\cite{BJPD17} has instead considered structure to come from a generative model $G: \mathbb{R}^k o \mathbb{R}^n$. We present two results establishing the difficulty of this latter task, showing that existing bounds are tight. First, we provide a lower bound matching the~\cite{BJPD17} upper bound for compressed sensing from $L$-Lipschitz generative models $G$. In particular, there exists such a function that requires roughly $Ω(k \log L)$ linear measurements for sparse recovery to be possible. This holds even for the more relaxed goal of \emph{nonuniform} recovery. Second, we show that generative models generalize sparsity as a representation of structure. In particular, we construct a ReLU-based neural network $G: \mathbb{R}^{2k} o \mathbb{R}^n$ with $O(1)$ layers and $O(kn)$ activations per layer, such that the range of $G$ contains all $k$-sparse vectors.

研究动机与目标

• 为当信号结构由 $L$-Lipschitz 生成模型 $G:\mathbb{R}^k \to \mathbb{R}^n$ 建模时，建立信息论下界。
• 确定基于生成模型的恢复方法的现有上界是否紧致，特别是在存在加性误差 $\delta$ 的情况下。
• 探究生成模型是否能将稀疏性概念推广为信号结构的表示方式。
• 构建一个神经网络架构，使其在最小深度和宽度下，能够表示其输出范围内的所有 $k$-稀疏向量。

提出的方法

• 通过通信复杂性论证证明下界，表明任何在 $G$ 的像集中实现与目标点 $\ell_2$ 距离在 $\delta$ 以内的恢复算法，均需 $\Omega(k\log(Lr/\delta))$ 次测量。
• 构建一个两层 ReLU 神经网络 $G_{\text{sp}}:\mathbb{R}^{2k} \to \mathbb{R}^n$，每层具有 $O(kn)$ 个激活单元，使得 $G_{\text{sp}}$ 的像集包含 $\mathbb{R}^n$ 中所有 $k$-稀疏向量。
• 利用三角恒等式和 ReLU 激活函数的特性，设计仅在宽度为 $\alpha = \pi/(n+1)$ 的角度扇区内激活的神经子网络 $G^+_i$ 和 $G^-_i$，从而实现精确的向量重建。
• 证明每个 $k$-稀疏向量可表示为 $k$ 个 1-稀疏向量的和，每个 1-稀疏向量由一个构造的网络 $G_{\text{sp}}$ 生成。
• 将 [BJPD17] 中的 $O(kd\log W)$ 测量界应用于所构造的网络，表明仅需 $O(k\log n)$ 次测量即可实现 $\ell_2/\ell_2$ 稀疏恢复。

实验结果

研究问题

• RQ1 [BJPD17] 中针对生成模型压缩感知的 $O(k\log(Lr/\delta))$ 测量界是否紧致？
• RQ2 在使用 ReLU 基生成模型时，恢复保证中的加性误差 $\delta$ 是否可避免？
• RQ3 具有常数深度和多项式宽度的生成模型能否表示所有 $k$-稀疏向量？
• RQ4 生成模型框架是否严格推广了压缩感知中的稀疏性假设？

主要发现

• 该论文为任意算法在 $L$-Lipschitz 生成模型 $G$ 的像集中实现 $\ell_2$ 恢复且与最近点距离不超过 $\delta$ 的目标，建立了 $\Omega(\min(k\log(Lr/\delta), n))$ 次测量的下界，与 [BJPD17] 的上界一致。
• 加性误差 $\delta$ 对于一般 $L$-Lipschitz 生成模型是必要的，如通过下界构造所示，即使在非均匀恢复设置下也是如此。
• 一个仅含两层隐藏层、每层宽度为 $O(kn)$ 的 ReLU 基神经网络，能够表示 $\mathbb{R}^n$ 中的所有 $k$-稀疏向量，表明生成模型可推广稀疏性。
• 将 [BJPD17] 中的 $O(kd\log W)$ 测量界应用于所构造的稀疏性生成网络，可得仅需 $O(k\log n)$ 次测量的恢复方案，与经典稀疏恢复界一致。
• 下界通过通信复杂性论证证明，其方法比同期工作 [LS19] 使用的技术更简单，且适用于任意 $\delta > 0$ 的一般情形。