[论文解读] Robust and interpretable blind image denoising via bias-free convolutional neural networks

Sreyas Mohan, Zahra Kadkhodaie+2 more|arXiv (Cornell University)|Jun 13, 2019

Image and Signal Denoising Methods参考文献 27被引用 36

一句话总结

这篇论文表明，去除 CNN 去噪中的 addtive bias 能实现对未见噪声水平的强泛化，并提供对去噪机制的线性代数可解释性。

ABSTRACT

Deep convolutional networks often append additive constant ("bias") terms to their convolution operations, enabling a richer repertoire of functional mappings. Biases are also used to facilitate training, by subtracting mean response over batches of training images (a component of "batch normalization"). Recent state-of-the-art blind denoising methods (e.g., DnCNN) seem to require these terms for their success. Here, however, we show that these networks systematically overfit the noise levels for which they are trained: when deployed at noise levels outside the training range, performance degrades dramatically. In contrast, a bias-free architecture -- obtained by removing the constant terms in every layer of the network, including those used for batch normalization-- generalizes robustly across noise levels, while preserving state-of-the-art performance within the training range. Locally, the bias-free network acts linearly on the noisy image, enabling direct analysis of network behavior via standard linear-algebraic tools. These analyses provide interpretations of network functionality in terms of nonlinear adaptive filtering, and projection onto a union of low-dimensional subspaces, connecting the learning-based method to more traditional denoising methodology.

研究动机与目标

• 研究 CNN 去噪在训练中未见的噪声水平上的泛化情况。
• 识别 additive bias 在泛化和去噪性能中的作用。
• 开发无偏网络架构并使用线性代数工具分析它们的局部去噪机制。

提出的方法

• 通过移除每一层及批量归一化中的所有加性常数，引入无偏 CNN (BF-CNN) 架构。
• 将去噪映射分析为局部线性算子 f(y)=A_y y，以实现基于雅可比矩阵的检查。
• 执行一阶残差分解，将线性部分 (A_y y) 与偏置分量 (b_y) 分离。
• 使用 SVD/雅可比分析来揭示用于去噪的自适应、低维信号子空间。
• 在多个噪声水平和数据集上，将无偏网络与标准架构（DnCNN、Recurrent CNN、UNet、DenseNet）进行对比。

实验结果

研究问题

• RQ1 无偏架构是否在训练范围之外的噪声水平上具有泛化能力？
• RQ2 去除偏置如何影响去噪机制及其可解释性？
• RQ3 哪些线性代数结构（雅可比、子空间）构成 BF-CNN 去噪过程的基础？
• RQ4 BF-CNN 在训练范围内是否保持性能，同时提升超出范围的泛化能力？

主要发现

• BF-CNN 在多种架构下对超出训练范围的噪声水平具有稳健的泛化能力。
• 去除加性常数可消除带偏 CNN 中观察到的严重泛化差距。
• BF-CNN 去噪器作为局部自适应线性滤波器，其加权函数会根据图像结构和噪声水平自适应。
• BF-CNN 的雅可比矩阵近似对称，能够将输入投影到自适应的低维子空间以保留信号内容。
• 有效子空间维数大致随 1/σ 变化，这解释了为何 MSE ≈ α·σ 且 PSNR 与输入 PSNR 线性相关。
• BF-CNN 在训练范围内保持性能，同时实现对超出范围的更优性能和可解释性。