[论文解读] Modeling Sparse Deviations for Compressed Sensing using Generative Models

Manik Dhar, Aditya Grover+1 more|arXiv (Cornell University)|Jul 4, 2018

Sparse and Compressive Sensing Techniques被引用 25

一句话总结

该论文提出Sparse-Gen，一种结合深度生成模型与稀疏偏差建模的压缩感知框架，可实现超出生成器支持范围的精确信号恢复。通过将信号建模为 $ G(\hat{z}) + \hat{\nu} $，其中 $ \ell_1 $-正则化稀疏偏差 $ \hat{\nu} $，该方法在LASSO和标准生成模型基方法之上实现了更优的重建精度，尤其在目标域数据有限的迁移感知设置中表现更佳。

ABSTRACT

In compressed sensing, a small number of linear measurements can be used to reconstruct an unknown signal. Existing approaches leverage assumptions on the structure of these signals, such as sparsity or the availability of a generative model. A domain-specific generative model can provide a stronger prior and thus allow for recovery with far fewer measurements. However, unlike sparsity-based approaches, existing methods based on generative models guarantee exact recovery only over their support, which is typically only a small subset of the space on which the signals are defined. We propose Sparse-Gen, a framework that allows for sparse deviations from the support set, thereby achieving the best of both worlds by using a domain specific prior and allowing reconstruction over the full space of signals. Theoretically, our framework provides a new class of signals that can be acquired using compressed sensing, reducing classic sparse vector recovery to a special case and avoiding the restrictive support due to a generative model prior. Empirically, we observe consistent improvements in reconstruction accuracy over competing approaches, especially in the more practical setting of transfer compressed sensing where a generative model for a data-rich, source domain aids sensing on a data-scarce, target domain.

研究动机与目标

• 解决基于生成模型的压缩感知的局限性，即无法恢复生成器范围之外的信号。
• 结合深度生成模型的强大归纳偏置与稀疏向量恢复的灵活性。
• 在保持低测量需求的同时，实现在整个信号空间上的精确恢复。
• 在迁移压缩感知中提升性能，即利用源域生成模型辅助在数据稀缺的目标域中进行感知。
• 从理论与实证上验证可通过压缩感知恢复的一类新信号，其范围超越了标准稀疏性或固定生成器支持范围。

提出的方法

• 将信号建模为 $ x = G(\hat{z}) + \hat{\nu} $，其中 $ G $ 为预训练的深度生成模型，$ \hat{\nu} $ 为稀疏偏差向量。
• 通过最小化 $ \| y - A(G(\hat{z}) + \hat{\nu}) \|_2^2 + \lambda \| \hat{\nu} \|_1 $，对潜在码 $ \hat{z} $ 和稀疏偏差 $ \hat{\nu} $ 进行优化。
• 使用变分自编码器（VAEs）作为生成模型 $ G $，支持端到端训练与梯度下降优化。
• 将恢复问题表述为非凸优化任务，利用 $ G $ 的表达性先验，同时通过 $ \ell_1 $-正则化允许偏差存在。
• 该框架推广了LASSO（当 $ G(z) = 0 $ 时）与标准生成模型恢复（当 $ \hat{\nu} = 0 $ 时）两种情形。
• 将该方法应用于迁移压缩感知，即对源域VAE进行微调或直接使用，以在目标域中实现数据稀缺条件下的信号感知。

实验结果

研究问题

• RQ1 我们能否将基于生成模型的压缩感知扩展至恢复生成器支持范围之外的信号？
• RQ2 在测量数量有限的情况下，对生成先验的稀疏偏差进行建模是否能提升重建精度，尤其是与标准方法相比？
• RQ3 所提出的框架能否泛化至迁移压缩感知场景，即利用源域模型辅助在数据稀缺的目标域中实现感知？
• RQ4 针对该新信号模型，能否建立重建误差的理论保证？
• RQ5 在重建误差与测量效率方面，Sparse-Gen相较于LASSO与标准生成模型恢复方法的表现如何？

主要发现

• 在相同测量数下，Sparse-Gen在MNIST与Omniglot数据集上的重建误差均低于LASSO与标准生成模型基恢复方法。
• Sparse-Gen的重建误差随测量数增加单调递减，并在 $ m = n $ 时趋于零，证实了理论收敛性。
• 在迁移压缩感知中，Sparse-Gen显著优于基线方法，尤其在目标域数据稀缺时，得益于源域VAE提供的有效先验。
• 对于Sparse-VAE，当测量数达到 $ m = 200 $ 时出现性能跃迁，表明其对目标域的适应能力优于标准生成模型恢复方法。
• 实证结果证实，该框架可将LASSO与标准生成模型恢复作为特例推广，且具有更高的鲁棒性与精度。
• 理论分析表明，在Sparse-Gen模型下，最优解码器的重建误差随 $ m \to n $ 而趋于零，验证了该框架的表达能力。