[论文解读] Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation

Reinhard Heckel, Mahdi Soltanolkotabi|arXiv (Cornell University)|May 7, 2020

Sparse and Compressive Sensing Techniques被引用 27

一句话总结

本文证明，未经训练的卷积神经网络在压缩测量上通过梯度下降优化时，无需显式正则化或训练数据，即可自然恢复结构化信号。关键贡献是理论证明梯度下降收敛至与测量一致的最平滑解，从而仅利用网络架构和优化动力学，即可从接近最小数量的随机测量中实现精确重建。

ABSTRACT

Un-trained convolutional neural networks have emerged as highly successful tools for image recovery and restoration. They are capable of solving standard inverse problems such as denoising and compressive sensing with excellent results by simply fitting a neural network model to measurements from a single image or signal without the need for any additional training data. For some applications, this critically requires additional regularization in the form of early stopping the optimization. For signal recovery from a few measurements, however, un-trained convolutional networks have an intriguing self-regularizing property: Even though the network can perfectly fit any image, the network recovers a natural image from few measurements when trained with gradient descent until convergence. In this paper, we provide numerical evidence for this property and study it theoretically. We show that---without any further regularization---an un-trained convolutional neural network can approximately reconstruct signals and images that are sufficiently structured, from a near minimal number of random measurements.

研究动机与目标

• 从理论上解释为何未经训练的卷积神经网络可在无显式正则化的情况下，仅从少量随机测量中重建信号。
• 理解梯度下降在过参数化未经训练网络中用于压缩感知时的自正则化行为。
• 建立在测量数量与信号复杂度成比例的最小值下实现重建的条件。
• 形式化梯度下降如何隐式偏好平滑、结构化解而非噪声或复杂模式的机制。

提出的方法

• 使用深度解码器架构作为未经训练的生成器 G: ℝ^N → ℝ^n，其卷积核固定且随机初始化。
• 应用梯度下降最小化损失 L(C) = ½||A G(C) - y||₂²，其中 y = A x* 为压缩测量。
• 分析生成器的雅可比矩阵 J_G 及其奇异值分解，以表征解空间。
• 通过将解分解为与信号对齐和残差噪声分量，推导重建误差的界。
• 对雅可比矩阵进行扰动分析，证明当信号位于低频子空间时，梯度下降收敛至接近真实信号的解。
• 证明最终解近似为最平滑的可行解，这是由于网络的归纳偏置和优化动力学所致。

实验结果

研究问题

• RQ1 为何在未经训练的CNN上进行梯度下降，可在无早停或显式正则化的情况下，从未知压缩测量中恢复自然图像？
• RQ2 网络架构和优化轨迹在隐式正则化解中起什么作用？
• RQ3 需要多少测量才能实现准确重建，其与信号结构的缩放关系如何？
• RQ4 为何重建信号是平滑的，这与生成器雅可比矩阵的奇异值分布有何关联？
• RQ5 该解能否被表征为与测量一致的最平滑近似？

主要发现

• 在未经训练的深度解码器上进行梯度下降，收敛至与压缩测量一致的近似最平滑信号。
• 重建误差受 ξ||x*||₂ 限制，其中 ξ 取决于网络的雅可比矩阵属性和测量噪声，表明具有稳定恢复能力。
• 该方法在 m ≈ O(n) 测量下实现准确重建，但有效维度远小于 n，因其依赖于信号结构。
• 该解对测量噪声具有鲁棒性，且无需早停，与去噪或图像修复任务不同。
• 理论分析证实，优化过程隐式偏好信号的低频、平滑分量。
• 重建误差界按 O(β³/α⁴) 与扰动大小成比例，其中 β 和 α 为生成器雅可比矩阵的谱属性。