[论文解读] Denoising and Regularization via Exploiting the Structural Bias of Convolutional Generators

Reinhard Heckel, Mahdi Soltanolkotabi|arXiv (Cornell University)|Oct 31, 2019

Image and Signal Denoising Methods参考文献 42被引用 56

一句话总结

本文表明，在固定核的过参数化卷积生成器在早停训练时，由于其偏向于比噪声更快拟合低频自然图像结构，因此可以对逆问题进行降噪和正则化。

ABSTRACT

Convolutional Neural Networks (CNNs) have emerged as highly successful tools for image generation, recovery, and restoration. A major contributing factor to this success is that convolutional networks impose strong prior assumptions about natural images. A surprising experiment that highlights this architectural bias towards natural images is that one can remove noise and corruptions from a natural image without using any training data, by simply fitting (via gradient descent) a randomly initialized, over-parameterized convolutional generator to the corrupted image. While this over-parameterized network can fit the corrupted image perfectly, surprisingly after a few iterations of gradient descent it generates an almost uncorrupted image. This intriguing phenomenon enables state-of-the-art CNN-based denoising and regularization of other inverse problems. In this paper, we attribute this effect to a particular architectural choice of convolutional networks, namely convolutions with fixed interpolating filters. We then formally characterize the dynamics of fitting a two-layer convolutional generator to a noisy signal and prove that early-stopped gradient descent denoises/regularizes. Our proof relies on showing that convolutional generators fit the structured part of an image significantly faster than the corrupted portion.

研究动机与目标

• 激励并理解为何未训练的卷积生成器能作为强图像先验用于去噪和正则化。
• 表征在拟合一个两层卷积生成器到带噪声信号时梯度下降的动力学。
• 表明固定插值核在拟合自然图像结构方面比噪声更快，从而实现有效的早停降噪。
• 在现实信号模型下提供理论保证，展示近似最优的降噪速率。

提出的方法

• 分析一个过参数化的两层卷积生成器 G(C) = ReLU(UC)v，其中固定核 U、可学习的 C。
• 将去噪问题建模为 y = x + z，其中 x 位于前 p 个三角基函数的张成空间，z 为高斯噪声。
• 在非线性最小二乘损失 L(C) = 1/2||y - G(C)||^2 下推导 C 的梯度下降动力学，并将其与初始化处的线性化雅可比矩阵相关联。
• 证明雅可比矩阵的左奇异向量近似三角基函数，且相关的奇异值（对偶核）偏向低频分量。
• 在早停下证明降噪界限和重建动力学，利用与频率分量相关的权重衰减。
• 将洞见扩展到多层、适度过参数化的网络，并讨论与理论的一致性经验结果。

实验结果

研究问题

• RQ1 固定卷积核如何影响梯度下降在学会自然图像结构方面的速度，相对于噪声？
• RQ2 早停是否能为过参数化的两层卷积生成器提供可证明的降噪和正则化保证？
• RQ3 雅可比谱中低频分量在驱动降噪动态中起什么作用？
• RQ4 理论洞见是否扩展到更深层或中等过参数化的网络，且在何种条件下？
• RQ5 不同的插值核（例如三角形 vs 高斯）如何通过它们的对偶核影响降噪性能？

主要发现

• 具有固定插值核的卷积在梯度下降过程中使自然图像比噪声被拟合得显著更快。
• 早停在接近（常数因子之内）与噪声方差乘以低频分量数量成比例的最优速率的降噪。
• 动力学由雅可比谱支配，其主导方向与低频三角基函数对齐，由网络结构决定而非学习的滤波器。
• 在给定信号模型下，具有足够通道数和合适的停止时间的两层卷积生成器实现近似最优的降噪界限。
• 多层网络显示，在训练过程中雅可比的领先奇异向量仍然接近低频分量，支持超出最简单模型的理论洞见。
• 实证结果表明，具有固定核的生成器在没有训练数据的情况下，结合早停，在去噪任务中优于如 BM3D 等基线。