[论文解读] An ELU Network with Total Variation for Image Denoising

Tianyang Wang, Zhengrui Qin+1 more|arXiv (Cornell University)|Aug 14, 2017

Image and Signal Denoising Methods参考文献 20被引用 7

一句话总结

本文提出一种基于深度卷积神经网络（CNN）的图像去噪方法，采用指数线性单元（ELU）激活函数和总变差（TV）正则化的L2损失。通过创新性地将ELU与批量归一化结合为新型的“Conv-ELU-Conv-BN”模块，并引入TV正则化，该模型在不同噪声水平下对灰度和彩色图像均实现了当前最优的峰值信噪比（PSNR）性能，优于先前的DnCNN和TNRD等方法。

ABSTRACT

In this paper, we propose a novel convolutional neural network (CNN) for image denoising, which uses exponential linear unit (ELU) as the activation function. We investigate the suitability by analyzing ELU's connection with trainable nonlinear reaction diffusion model (TNRD) and residual denoising. On the other hand, batch normalization (BN) is indispensable for residual denoising and convergence purpose. However, direct stacking of BN and ELU degrades the performance of CNN. To mitigate this issue, we design an innovative combination of activation layer and normalization layer to exploit and leverage the ELU network, and discuss the corresponding rationale. Moreover, inspired by the fact that minimizing total variation (TV) can be applied to image denoising, we propose a TV regularized L2 loss to evaluate the training effect during the iterations. Finally, we conduct extensive experiments, showing that our model outperforms some recent and popular approaches on Gaussian denoising with specific or randomized noise levels for both gray and color images.

研究动机与目标

• 通过在深度CNN中用ELU替代ReLU，提升图像去噪性能。
• 解决直接堆叠批量归一化（BN）与ELU层导致的性能下降问题。
• 通过将1×1卷积与BN及ELU结合，提升训练稳定性和特征学习能力。
• 通过在L2损失中引入总变差（TV）正则化，提升去噪质量并保留图像细节。
• 在灰度与彩色图像上，针对特定噪声水平和随机噪声水平，验证所提模型的有效性。

提出的方法

• 采用残差学习框架，直接预测噪声残差而非干净图像。
• 使用ELU作为激活函数，其可产生负激活值，有助于将隐藏单元输出的均值集中在零附近，从而提升收敛速度与对噪声的鲁棒性。
• 提出一种新型的“Conv-ELU-Conv-BN”模块，有效整合ELU与批量归一化，避免性能下降。
• 在L2损失函数中引入总变差（TV）正则化，以促进图像的分段平滑性并保留边缘特征。
• 采用随机梯度下降（SGD）进行网络优化，TV正则化直接嵌入损失函数中，无需对偶形式。
• 在特定噪声水平（如σ = 15, 25, 50）和随机噪声水平（0–55）下进行训练，实现盲去噪。

实验结果

研究问题

• RQ1 由于ELU能够生成零中心化的激活值并实现更优的能量最小化，其是否比ReLU更适合用于图像去噪？
• RQ2 新型的“Conv-ELU-Conv-BN”层组合是否能有效缓解直接堆叠BN与ELU层导致的性能下降？
• RQ3 在L2损失中引入TV正则化是否能提升去噪性能并更好地保留图像细节？
• RQ4 与DnCNN和TNRD等当前最优方法相比，所提模型在灰度与彩色图像上的PSNR和视觉质量表现如何？
• RQ5 在随机噪声水平下进行训练，其性能是否与固定噪声水平训练相当甚至更优？

主要发现

• 在σ = 15的灰度图像上，所提模型达到31.82 dB的PSNR，优于DnCNN（31.82 dB）和TNRD（31.73 dB）。
• 在σ = 15的彩色图像上，模型达到34.10 dB，优于DnCNN（33.99 dB）和CBM3D（33.50 dB）。
• 在随机噪声水平（0–55）的盲去噪任务中，于σ = 50的彩色图像上达到28.11 dB，优于DnCNN（28.01 dB）。
• 视觉对比显示，所提方法能更好地保留图像的细微细节，减少过度平滑现象，尤其在纹理和背景区域表现更优。
• 在所有测试的噪声水平下，该模型在灰度与彩色数据集上均比DnCNN的PSNR平均提升约0.1 dB。
• 消融实验证实，ELU、新型BN-ELU模块与TV正则化的协同作用显著提升了模型性能。