[论文解读] An Unsupervised Approach to Solving Inverse Problems using Generative Adversarial Networks

Rushil Anirudh, Jayaraman J. Thiagarajan+2 more|arXiv (Cornell University)|May 18, 2018

Ultrasonics and Acoustic Wave Propagation被引用 20

一句话总结

该论文提出了一种无监督方法，利用预训练的生成对抗网络（GAN）作为先验，实现从不完整或损坏的观测中盲恢复信号，而无需了解测量过程。通过迭代优化潜在码和近似前向模型的浅层神经网络，该方法在去模糊、边缘到图像重建以及盲源分离任务中均实现了最先进性能，即使在高度欠定的情况下也表现优异。

ABSTRACT

Solving inverse problems continues to be a challenge in a wide array of applications ranging from deblurring, image inpainting, source separation etc. Most existing techniques solve such inverse problems by either explicitly or implicitly finding the inverse of the model. The former class of techniques require explicit knowledge of the measurement process which can be unrealistic, and rely on strong analytical regularizers to constrain the solution space, which often do not generalize well. The latter approaches have had remarkable success in part due to deep learning, but require a large collection of source-observation pairs, which can be prohibitively expensive. In this paper, we propose an unsupervised technique to solve inverse problems with generative adversarial networks (GANs). Using a pre-trained GAN in the space of source signals, we show that one can reliably recover solutions to under determined problems in a `blind' fashion, i.e., without knowledge of the measurement process. We solve this by making successive estimates on the model and the solution in an iterative fashion. We show promising results in three challenging applications -- blind source separation, image deblurring, and recovering an image from its edge map, and perform better than several baselines.

研究动机与目标

• 解决测量过程未知或难以处理时的逆问题挑战。
• 消除监督深度学习方法对大规模成对数据集（X, Y）的依赖。
• 仅使用预训练 GAN，实现对高度欠定观测的盲源分离与重建。
• 开发一种通用的无监督框架，适用于多种逆成像任务。

提出的方法

• 利用预训练 GAN 建模源信号的先验分布，将其潜在空间作为约束解空间。
• 将未知前向模型 F 参数化为浅层神经网络，并在推理过程中与潜在码联合优化。
• 采用交替优化策略：固定模型估计以优化潜在码，随后固定潜在码以改进模型估计。
• 将损失函数定义为观测数据与经估计前向模型作用于 GAN 生成信号后输出之间的重建误差。
• 通过迭代方式盲恢复源信号与前向模型，无需显式了解 F 的知识。
• 将框架推广至多观测与非线性混合场景，支持盲源分离等应用。

实验结果

研究问题

• RQ1 预训练 GAN 是否可在无成对训练数据的情况下，作为强数据驱动先验，有效求解逆问题？
• RQ2 在缺乏退化过程解析知识的情况下，联合优化的浅层神经网络在多大程度上能准确逼近未知前向模型？
• RQ3 所提方法是否能在去模糊、边缘到图像生成与盲源分离等多样化逆问题中实现良好泛化？
• RQ4 在高度欠定设置下，该方法相较于现有无监督基线方法的性能优势有多大？
• RQ5 当前向模型为非线性或观测数量有限时，该方法的鲁棒性如何？

主要发现

• 与已知前向模型的监督基线方法相比，该方法在去模糊与边缘到图像重建任务中表现具有竞争力。
• 在三源非线性混合的单一样本盲源分离任务中，该方法成功恢复出高度合理的源图像，优于 ICA 与朴素加法模型。
• 在四组三源非线性混合的过定情况下，该方法生成了精确的重建结果，展现出对复杂混合函数的强鲁棒性。
• 该方法在盲源分离任务中显著优于现有无监督方法，尤其在其他方法失效的欠定场景中表现突出。
• 该方法具备良好的任务泛化能力：同一框架无需架构修改即可复用于去模糊、边缘到图像生成与源分离任务。
• 使用 GAN 先验可实现高质量、语义合理的重建，即使在高度欠定的解空间中亦能保持良好性能。