[论文解读] Task-Aware Compressed Sensing with Generative Adversarial Networks

Maya Kabkab, Pouya Samangouei+1 more|arXiv (Cornell University)|Feb 5, 2018

Sparse and Compressive Sensing Techniques被引用 24

一句话总结

该论文提出了一种用于压缩感知的任务感知生成对抗网络（CSGAN），通过专门针对压缩测量恢复训练 GAN，联合优化重建与推理。该方法在仅使用极少非压缩数据的情况下实现了最先进的重建性能，并实现了用于下游分类的判别性潜在空间，即使测量数量极少也能实现。

ABSTRACT

In recent years, neural network approaches have been widely adopted for machine learning tasks, with applications in computer vision. More recently, unsupervised generative models based on neural networks have been successfully applied to model data distributions via low-dimensional latent spaces. In this paper, we use Generative Adversarial Networks (GANs) to impose structure in compressed sensing problems, replacing the usual sparsity constraint. We propose to train the GANs in a task-aware fashion, specifically for reconstruction tasks. We also show that it is possible to train our model without using any (or much) non-compressed data. Finally, we show that the latent space of the GAN carries discriminative information and can further be regularized to generate input features for general inference tasks. We demonstrate the effectiveness of our method on a variety of reconstruction and classification problems.

研究动机与目标

• 通过以任务感知方式训练 GAN，专门优化从压缩测量中恢复信号，从而提升压缩感知的重建性能。
• 在仅使用压缩测量或少量非压缩数据的情况下，实现 GAN 的有效训练，减少对全分辨率训练数据的依赖。
• 对 GAN 的潜在空间进行正则化，使其携带可用于下游推理任务（如分类）的判别性信息。
• 证明潜在码可用于重建和通用推理，而无需恢复完整信号。

提出的方法

• 以端到端、任务感知的方式训练 GAN，其中生成器被优化为从压缩测量中重建信号，而不仅仅是建模数据分布。
• 引入第二个专门针对压缩数据的判别器，以在缺乏非压缩数据的情况下实现训练。
• 使用对比损失对潜在空间进行正则化，鼓励同一类别的样本具有相近的潜在表示。
• 通过求解 min_z ||A G(z) - y||² 进行重建，其中 G(z) 为生成器输出，y 为压缩测量向量。
• 将学习到的潜在码 z 输入分类器（如 LeNet）以执行下游推理任务。
• 使用结合重建损失和对比分类损失的混合损失，联合训练 GAN 和分类器。

实验结果

研究问题

• RQ1 与预训练 GAN 相比，以任务感知方式训练 GAN 是否能显著提升压缩感知的重建性能？
• RQ2 在无法访问非压缩数据的情况下，能否仅使用压缩测量有效训练 GAN？
• RQ3 能否对任务感知 GAN 的潜在空间进行正则化，以支持分类等判别性推理任务？
• RQ4 为分类任务添加对比损失是否会降低重建质量？

主要发现

• 在测量数量较少时（例如 m = 8），CSGAN 的重建误差显著低于 [Bora et al., 2017] 中的基线方法。
• 仅使用 10 张非压缩图像和其余压缩图像时，CSGAN 在 F-MNIST 上使用 50-NN 分类器实现了 39.37% 的分类准确率，优于 DCGAN 的 30.19%。
• 当 m = 200 时，添加对比损失使 MNIST 上的分类准确率从 38.14% 提升至 64.56%，同时保持较低的重建误差（每像素 0.0179 MSE）。
• 即使使用简单的 50-NN 分类器，也表明 CSGAN 的潜在空间比 DCGAN 更好地将同类别样本聚集在一起，证实了有效的解耦。
• 当使用 400 个测量时，MNIST 的像素级均方误差降至 0.0169，表明对比正则化器并未损害重建质量。
• 在 CelebA 上的定性结果表明，即使在 m 较低时，CSGAN 也能从压缩测量中生成真实感强、保真度高的重建结果。