[论文解读] A Provably Convergent Scheme for Compressive Sensing under Random Generative Priors

Wen Huang, Paul Hand+2 more|arXiv (Cornell University)|Dec 11, 2018

Sparse and Compressive Sensing Techniques参考文献 18被引用 17

一句话总结

本文提出了一种基于随机深度生成先验的压缩感知的可证明收敛梯度下降算法。在生成模型的温和条件下——特别是宽度足够大的层且权重为高斯分布时——该算法可保证收敛至真实信号，其误差不超过噪声水平，且样本复杂度随潜在维度线性增长，这是首个针对生成先验下高效恢复的此类理论保证。

ABSTRACT

Deep generative modeling has led to new and state of the art approaches for enforcing structural priors in a variety of inverse problems. In contrast to priors given by sparsity, deep models can provide direct low-dimensional parameterizations of the manifold of images or signals belonging to a particular natural class, allowing for recovery algorithms to be posed in a low-dimensional space. This dimensionality may even be lower than the sparsity level of the same signals when viewed in a fixed basis. What is not known about these methods is whether there are computationally efficient algorithms whose sample complexity is optimal in the dimensionality of the representation given by the generative model. In this paper, we present such an algorithm and analysis. Under the assumption that the generative model is a neural network that is sufficiently expansive at each layer and has Gaussian weights, we provide a gradient descent scheme and prove that for noisy compressive measurements of a signal in the range of the model, the algorithm converges to that signal, up to the noise level. The scaling of the sample complexity with respect to the input dimensionality of the generative prior is linear, and thus can not be improved except for constants and factors of other variables. To the best of the authors' knowledge, this is the first recovery guarantee for compressive sensing under generative priors by a computationally efficient algorithm.

研究动机与目标

• 通过提供一种计算高效且具有可证明恢复保证的算法，填补压缩感知在深度生成先验下的理论空白。
• 证明在足够宽且具有高斯权重的随机生成模型下，对经验风险目标的梯度下降可收敛至真实信号。
• 表明样本复杂度与生成模型的潜在维度呈线性关系，该结果在常数因子内为最优。
• 证明算法收敛至真实信号的邻域，其大小仅取决于噪声水平，在无噪声情况下可实现精确恢复。

提出的方法

• 提出一种用于在深度生成模型下最小化经验风险目标的梯度下降算法，适用于压缩感知。
• 在假设生成网络的每一层均足够宽且具有独立同分布的高斯权重的前提下，分析其优化景观。
• 利用受限随机等距性条件（RRIC）控制测量算子 A 在生成信号上的行为。
• 通过权重矩阵乘积 W_{i,+,x} 对生成模型 G 在真实潜在码 x* 附近实现局部线性化。
• 利用浓度不等式与扰动分析，推导经验风险函数梯度的界，以控制其与期望梯度的偏差。
• 引入噪声感知分析，表明迭代点收敛至全局最小值的邻域，其半径与噪声水平成正比。

实验结果

研究问题

• RQ1 当信号位于深度生成模型的值域中时，是否存在一种计算高效的算法，可可证明地从压缩测量中恢复信号？
• RQ2 此类恢复的最优样本复杂度是多少？能否通过基于梯度的方法实现？
• RQ3 在随机生成先验下，对非凸经验风险目标的梯度下降是否能避免虚假局部极小值？
• RQ4 噪声水平如何影响恢复算法的收敛精度？

主要发现

• 所提出的梯度下降算法收敛至真实信号的邻域，其邻域大小受噪声水平的有界控制，从而确保了噪声鲁棒性恢复。
• 在无噪声情况下，算法精确收敛至全局最小值，实现精确恢复。
• 样本复杂度与生成模型的潜在维度 d 呈线性关系，该结果在常数因子和对数因子内为最优。
• 分析在温和假设下成立：生成模型为具有独立同分布高斯权重的深层 ReLU 网络，且层宽随深度适当增长。
• 通过新颖的梯度扰动分析建立了收敛保证，表明在有界噪声和足够测量数下，迭代点能保持在真实信号附近。
• 数值实验验证了恢复精度可达噪声水平，与理论预测一致。