[论文解读] Deep Compressed Sensing

Yan Wu, Mihaela Rosca+1 more|arXiv (Cornell University)|May 16, 2019

Sparse and Compressive Sensing Techniques被引用 58

一句话总结

本文提出深度压缩感知（DCS），端到端地训练测量与重建网络，并结合元学习，相较于以往的 CS 方法在速度和精度上均有所提升，并通过学习的测量目标使 GAN 的变体成为可能。

ABSTRACT

Compressed sensing (CS) provides an elegant framework for recovering sparse signals from compressed measurements. For example, CS can exploit the structure of natural images and recover an image from only a few random measurements. CS is flexible and data efficient, but its application has been restricted by the strong assumption of sparsity and costly reconstruction process. A recent approach that combines CS with neural network generators has removed the constraint of sparsity, but reconstruction remains slow. Here we propose a novel framework that significantly improves both the performance and speed of signal recovery by jointly training a generator and the optimisation process for reconstruction via meta-learning. We explore training the measurements with different objectives, and derive a family of models based on minimising measurement errors. We show that Generative Adversarial Nets (GANs) can be viewed as a special case in this family of models. Borrowing insights from the CS perspective, we develop a novel way of improving GANs using gradient information from the discriminator.

研究动机与目标

• 阐明传统压缩感知的局限性（稀疏性假设和慢速重建）。
• 开发一个框架，在 CS 内联合训练测量函数和神经网络生成器，以提高重建速度和精度。
• 展示元学习如何加速重建的潜在优化。
• 推导并评估一系列模型，包含 CS-GAN 和 CS-SGAN，使用学习的测量和判别器/分类器引导。

提出的方法

• 通过联合训练生成器 G_theta 与重建潜在优化过程，来表述深度压缩感知（DCS）。
• 通过测量损失 L_F 强化距离保持属性（类似 RIP），以训练 F_phi，或将 F_phi 作为神经网络学习。
• 结合模型无关元学习（MAML 风格），对潜在优化步骤进行反向传播，减少所需的梯度步骤数量。
• 通过用判别器引导的目标替换测量损失来推导 CS-GAN，将潜在优化与GAN训练联系起来。
• 通过使用多类别分类器来在测量中保留类别信息，扩展为 CS-SGAN，使其具备半监督 GAN 行为。
• 提供算法（Algorithm 1 和 Algorithm 2），用于在固定测量函数或学习测量函数的情形下进行训练。

实验结果

研究问题

• RQ1 与标准梯度下降方法相比，潜在优化过程的元学习是否能加速深度压缩感知中的重建？
• RQ2 通过可学习测量强制实现类似 RIP 的性质是否会提升重建质量，相较于随机测量，并且在何种条件下？
• RQ3 在判别器引导下的潜在优化是否能提升 GAN 的训练稳定性和样本质量，相较于原生 GAN？
• RQ4 是否可以将 DCS 框架扩展到半监督 GAN，以产生语义上有意义的潜在空间？
• RQ5 学习的测量函数对重建和 GAN 在图像数据如 MNIST 与 CelebA 上的性能影响是什么？

主要发现

• DCS 在重建性能上显著优于 Bora 等人基线，同时在未重新启动的情况下使用要少得多的潜在优化步骤（3 步）。
• 学习的测量函数在经过优化后优于随机投影，神经网络测量模型可以进一步提升结果，尤其是对结构化数据如图像。
• 在 CS-GAN 中进行的潜在优化带来更好的 GAN 指标（IS 和 FID），比普通 GAN 更有效地避免模式崩溃，且在一系列超参数范围内提升持续存在。
• 带有潜在优化的 CS-GAN 可以超越强基线（SN-GAN），并在结合谱归一化和更大架构时取得竞争力的结果。
• CS-SGAN 表明潜在优化产生了语义结构化的潜在空间，使生成样本的类别分离更清晰（例如 MNIST 数字）。
• 本文提供了一个统一的框架，在该框架下 GAN 作为在 DCS 范式中保持某些属性（如有效性保持或类别保持）的测量的特例出现。