[论文解读] Compressed Sensing using Generative Models

Ashish Bora, Ajil Jalal+2 more|arXiv (Cornell University)|Mar 9, 2017

Sparse and Compressive Sensing Techniques参考文献 30被引用 291

一句话总结

论文用生成先验替代稀疏性，用压缩感知，显示随机高斯测量规模为 O(kd log n) 就足以通过梯度下降在生成器潜在空间实现准确恢复，通常比 Lasso 少 5–10 倍测量。

ABSTRACT

The goal of compressed sensing is to estimate a vector from an underdetermined system of noisy linear measurements, by making use of prior knowledge on the structure of vectors in the relevant domain. For almost all results in this literature, the structure is represented by sparsity in a well-chosen basis. We show how to achieve guarantees similar to standard compressed sensing but without employing sparsity at all. Instead, we suppose that vectors lie near the range of a generative model $G: \mathbb{R}^k o \mathbb{R}^n$. Our main theorem is that, if $G$ is $L$-Lipschitz, then roughly $O(k \log L)$ random Gaussian measurements suffice for an $\ell_2/\ell_2$ recovery guarantee. We demonstrate our results using generative models from published variational autoencoder and generative adversarial networks. Our method can use $5$-$10$x fewer measurements than Lasso for the same accuracy.

研究动机与目标

• 为压缩感知提供稀疏性之外的替代结构先验的动机。
• 形式化一个理论框架（S/REC）用于生成模型的取值域。
• 证明高斯测量矩阵对广义生成器类满足 S/REC。
• 在潜在空间使用梯度下降优化时提供恢复保证。
• 在真实数据集上使用 VAE 和 GAN 展示实用性能。

提出的方法

• 构造一个优化，其中 z 在 R^k 上最小化 ||A G(z) - y||_2^2，然后恢复 x̂ = G(ẑ)。
• 引入正则化项 L(z) 以鼓励生成器偏好的区域，例如 L(z)=λ||z||^2。
• 建立 Set-Restricted Eigenvalue Condition (S/REC) 作为 REC 在 S = range(G) 的推广。
• 证明在对 m 的温和界限下，随机高斯 A 满足 S/REC(G(B^k(r)), 1−α, δ)。
• 推导将重建误差与生成器取值域内的最佳逼近，以及测量/优化误差相关的误差界。
• 提供 Lipschitz (L) 与 Lipschitz-network (d-layer) 的保证，给出 m = O(k log L) 或 m = O(kd log n)。

实验结果

研究问题

• RQ1 需要多少高斯测量 m 才能可靠地从 y=Ax*+η，通过 G(z) 恢复 x*？
• RQ2 在生成器的潜在空间中用梯度下降能否给出可证明的保证地恢复 x*？
• RQ3 恢复误差与生成器范围内的最佳逼近以及测量/优化误差有何关系？
• RQ4 结果是否可以从 ReLU 网络推广到任意 L-Lipschitz 生成器？
• RQ5 在真实数据（如 MNIST、CelebA）上使用 VAE 与 GAN 相比 Lasso 的实际性能影响是什么？

主要发现

• 高斯矩阵在生成器取值范围上以高概率满足 S/REC，进而提供恢复保证。
• 对于 d-layer 神经网络（VAE/GAN），m = O(kd log n) 次测量就足以在高概率下获得良好重建。
• 潜在空间优化可在生成器取值范围内的最佳近似附近恢复 x̂，与噪声和优化误差成正比的项。
• 实证结果表明，在某些情形下，该方法比 Lasso 需要少 5–10 倍的测量以达到类似精度。
• 在 MNIST 和 CelebA 上，来自少量高斯测量的重建具有竞争力，表示表征误差被确认为总误差的主要分量。
• 超分辨率实验显示当测量与生成器的范围约束对齐时，重建尖锐。