[论文解读] Algorithmic Guarantees for Inverse Imaging with Untrained Network Priors

Gauri Jagatap, Chinmay Hegde|arXiv (Cornell University)|Jun 20, 2019

Sparse and Compressive Sensing Techniques参考文献 37被引用 51

一句话总结

本文提出了使用未训练的深度网络先验（深度解码器）来求解线性和非线性反问题的理论与算法，并给出投影梯度下降与相位检索设定下的收敛保证。

ABSTRACT

Deep neural networks as image priors have been recently introduced for problems such as denoising, super-resolution and inpainting with promising performance gains over hand-crafted image priors such as sparsity and low-rank. Unlike learned generative priors they do not require any training over large datasets. However, few theoretical guarantees exist in the scope of using untrained neural network priors for inverse imaging problems. We explore new applications and theory for untrained neural network priors. Specifically, we consider the problem of solving linear inverse problems, such as compressive sensing, as well as non-linear problems, such as compressive phase retrieval. We model images to lie in the range of an untrained deep generative network with a fixed seed. We further present a projected gradient descent scheme that can be used for both compressive sensing and phase retrieval and provide rigorous theoretical guarantees for its convergence. We also show both theoretically as well as empirically that with deep network priors, one can achieve better compression rates for the same image quality compared to hand crafted priors.

研究动机与目标

• 促使在逆成像任务中使用未训练的深度神经网络作为图像先验。
• 为未训练网络的作用域（范围）开发一个理论框架（REC变体），以确保唯一恢复。
• 提出并分析在压缩感知（CS）和相位检索中使用未训练先验时收敛的投影梯度下降方法。
• 将未训练先验方法扩展到压缩相位检索，并给出收敛保证。
• 与手工设计的先验进行比较，并在重建质量方面展示经验上的改进。

提出的方法

• 将图像建模为位于未训练深度网络 G(w;z) 的取值范围内，固定种子 z。
• 为测量矩阵 A 定义一个集合 (S,γ,β)-REC 以保证恢复。
• 开发 Net-PGD：一种投影梯度下降算法，通过优化 w 以拟合中间的 x，从而对范围 S 进行投影。
• 在高概率下对于 Gaussian A，证明 Net-PGD 在 (S,1−α,1+α)-REC 下的收敛性保证。
• 扩展到压缩相位检索，采用包含相位估计和投影步骤的两步 Net-PGD。
• 将网络结构基于一个参数量较少的解码器（Deep Decoder）以确保有意义的界限并避免拟合噪声。

实验结果

研究问题

• RQ1 未训练的神经网络先验是否能够为具有高斯测量的线性压缩感知提供唯一且稳定的恢复？
• RQ2 当图像先验是未训练的深度网络时，投影梯度下降方案是否收敛？
• RQ3 未训练的先验能否在具有收敛保证的情况下有效用于压缩相位检索？
• RQ4 在 REC 框架下，样本复杂度如何依赖于网络参数？
• RQ5 在 CS 和 CPR 中，未训练的先验是否比手工设计的先验提供更优的重建质量？

主要发现

• 建立了未训练网络先验取值范围的新型受限特征值条件（REC），从而实现恢复保证。
• 在具有高斯测量的线性压缩感知中，Net-PGD 在 (S,1−α,1+α)-REC 下线性收敛到真实图像。
• Net-PGD 在适当初始化与 REC 假设下扩展到压缩相位检索并具备收敛保证。
• 实证结果显示 Net-GD 和 Net-PGD 在重建质量方面优于传统方法和其他先验，适用于 MNIST 与 CelebA 数据集。
• 该框架强调欠参数化的深度先验（Deep Decoder），以确保有意义的界限并防止拟合噪声。