[论文解读] Convolutional Neural Network with Median Layers for Denoising Salt-and-Pepper Contaminations

Luming Liang, Sen Deng+4 more|arXiv (Cornell University)|Aug 18, 2019

Image and Signal Denoising Methods参考文献 10被引用 7

一句话总结

该论文提出了一种新颖的深度全卷积神经网络，通过引入中值层——一种在特征图的局部邻域内计算中值的空间操作——来去除由高比例椒盐噪声污染的图像。通过将这些中值层直接集成到网络架构中，无需预处理或损失函数退火，该方法实现了最先进性能，在PSNR上比现有方法高出1–2 dB，尤其在极端噪声水平下（例如70–90%）表现优异。

ABSTRACT

We propose a deep fully convolutional neural network with a new type of layer, named median layer, to restore images contaminated by the salt-and-pepper (s&p) noise. A median layer simply performs median filtering on all feature channels. By adding this kind of layer into some widely used fully convolutional deep neural networks, we develop an end-to-end network that removes the extremely high-level s&p noise without performing any non-trivial preprocessing tasks, which is different from all the existing literature in s&p noise removal. Experiments show that inserting median layers into a simple fully-convolutional network with the L2 loss significantly boosts the signal-to-noise ratio. Quantitative comparisons testify that our network outperforms the state-of-the-art methods with a limited amount of training data. The source code has been released for public evaluation and use (https://github.com/llmpass/medianDenoise).

研究动机与目标

• 为解决在极高水平椒盐噪声下图像去噪的挑战，传统基于梯度的方法因在受损像素处梯度不可靠而失效。
• 克服现有基于学习的方法的局限性，这些方法需要复杂的损失退火（例如从L2到L0）或干净数据对进行训练。
• 将传统非线性信号处理技术——特别是中值滤波——整合为深度神经网络中的可学习层，以提升对脉冲噪声的鲁棒性。
• 开发一个端到端可训练的网络，无需任何非平凡的预处理步骤即可去除高比例椒盐噪声。
• 证明中值层通过最小化基于L1的偏差，可作为有效的正则化器，提升噪声区域的特征质量。

提出的方法

• 提出一种新型层结构，称为“中值层”，该层对特征图中所有特征通道的局部空间邻域应用中值滤波。
• 中值层在每个空间位置和所有通道上，对固定大小的卷积核（例如3×3）内的值计算中值，有效抑制脉冲噪声的同时保留边缘。
• 将中值层插入全卷积神经网络架构中，替代或补充跳跃连接或残差块中的标准卷积层。
• 使用标准L2损失进行端到端训练，无需损失退火或干净参考图像，支持在噪声-噪声对上进行训练。
• 该方法利用数学性质：中值最小化绝对偏差之和（L1范数），使其成为噪声特征的鲁棒正则化器。
• 网络架构设计为与现有深度网络（如U-Net结构）兼容，支持将中值层作为插件模块集成以提升性能。

实验结果

研究问题

• RQ1 中值滤波操作能否被有效嵌入为深度神经网络中的可学习层，以提升对椒盐噪声的鲁棒性？
• RQ2 在标准CNN架构中插入中值层是否能在无需复杂损失调度或干净监督的情况下提升去噪性能？
• RQ3 所提方法在性能上与最先进方法相比如何，尤其是在高噪声水平下（例如70–90%）？
• RQ4 使用中值层时，仅通过标准L2损失训练的单一模型是否能跨多种噪声水平泛化，从而消除对自适应损失函数的需求？
• RQ5 中值层在模型中的位置和深度对特征质量和最终去噪精度有何影响？

主要发现

• 所提出的含中值层的网络在Lenna图像上90%椒盐噪声下达到33.07 dB的PSNR，显著优于Noise2Noise（24.89 dB）及其他基线方法。
• 在70%噪声水平下，与不含中值层的相同网络相比，该模型平均提升0.5 dB的PSNR，证明了性能的持续增益。
• 在多个数据集上，该方法平均PSNR比最先进方法Noise2Noise高出1–2 dB，尤其在高噪声水平下表现卓越。
• 定性结果表明，所提方法减少了Noise2Noise中常见的块状伪影和边缘模糊问题，尤其在具有锐利过渡和二值图案的图像中表现更优。
• 使用标准L2损失训练的模型能跨不同噪声水平泛化，无需损失函数调整，表明中值层起到了有效的正则化作用。
• 源代码和预训练模型已公开发布于 https://github.com/llmpass/medianDenoise，支持可复现性与进一步研究。