[论文解读] Deep Gaussian Conditional Random Field Network: A Model-based Deep Network for Discriminative Denoising

Raviteja Vemulapalli, Oncel Tuzel+1 more|arXiv (Cornell University)|Nov 12, 2015

Image and Signal Denoising Methods参考文献 35被引用 8

一句话总结

本文提出了一种深度高斯条件随机场（GCRF）网络，通过联合学习参数生成与推理，端到端训练模型以在多个噪声水平下实现图像去噪。与以往方法需为每个噪声水平单独训练模型不同，该方法显式建模输入噪声方差，采用基于HQ S的迭代推理方法，结合自适应、基于图像块的势函数参数，在伯克利和PASCAL VOC数据集上实现了最先进的PSNR性能。

ABSTRACT

We propose a novel deep network architecture for image\\ denoising based on a Gaussian Conditional Random Field (GCRF) model. In contrast to the existing discriminative denoising methods that train a separate model for each noise level, the proposed deep network explicitly models the input noise variance and hence is capable of handling a range of noise levels. Our deep network, which we refer to as deep GCRF network, consists of two sub-networks: (i) a parameter generation network that generates the pairwise potential parameters based on the noisy input image, and (ii) an inference network whose layers perform the computations involved in an iterative GCRF inference procedure.\ We train the entire deep GCRF network (both parameter generation and inference networks) discriminatively in an end-to-end fashion by maximizing the peak signal-to-noise ratio measure. Experiments on Berkeley segmentation and PASCALVOC datasets show that the proposed deep GCRF network outperforms state-of-the-art image denoising approaches for several noise levels.

研究动机与目标

• 解决现有深度去噪网络需为每个噪声水平单独训练模型的局限性。
• 将基于模型的高斯CRF先验整合到深度学习框架中，以提升跨噪声水平的泛化能力。
• 开发一种可训练架构，联合优化参数生成与推理过程以实现图像去噪。
• 通过PSNR作为优化目标，实现端到端判别性训练。
• 通过使用依赖数据的、基于图像块的势函数参数，提升边缘保持能力并减少过度平滑。

提出的方法

• 提出一种双流深度网络：用于GCRF去噪的参数生成网络（PgNet）和推理网络（InfNet）。
• 通过基于图像块的特征提取，利用PgNet在$d\times d$图像块上生成空间自适应的成对势函数参数。
• 采用半二次分裂（HQS）作为迭代推理方法，并在InfNet中以可微分的HQS层实现，以实现高效且可微分的优化。
• 在每次HQS迭代后引入多个PgNets，基于逐步去噪的特征对势函数参数进行细化，从而提升对高噪声的鲁棒性。
• 通过学习到的组合权重$\gamma_{ij}^k$将局部势函数参数合并为全局图像级成对势函数。
• 通过所有组件的闭式导数（包括HQS层和参数组合）实现端到端反向传播。

实验结果

研究问题

• RQ1 一个显式建模输入噪声方差的深度网络是否能在多个噪声水平下超越现有判别性去噪方法？
• RQ2 将基于模型的GCRF先验整合到深度学习框架中是否能提升去噪性能与泛化能力？
• RQ3 基于HQS的迭代推理是否能在深度网络中实现有效可微分与可训练，以支持端到端优化？
• RQ4 在每次HQS步骤后引入中间PgNets是否能提升对高噪声水平的鲁棒性？
• RQ5 一个统一的单一网络是否能在无需为每个噪声水平重新训练的情况下，实现多个噪声水平下的SOTA性能？

主要发现

• 所提出的深度GCRF网络在伯克利分割数据集上，于噪声水平$\sigma = 15$、$\sigma = 25$和$\sigma = 50$下均实现了最先进的PSNR性能，优于BM3D及其他深度学习基线方法。
• 在PASCAL VOC数据集上，该方法在$\sigma = 50$时达到最高PSNR值32.15 dB，在无量化设置下超越所有对比方法，包括TRD和RTF$_5$。
• 在68张图像基准测试中，该网络在量化设置下取得第二高PSNR，在无量化设置下取得最高PSNR，表明其在不同评估协议下均具备强鲁棒性。
• 视觉结果表明，与基线方法相比，该网络生成的图像更清晰，伪影更少，尤其在边缘和细纹理的保持方面表现更优。
• 在NVIDIA Titan GPU上，该网络处理每张$321 \times 481$图像的计算时间为4.4秒，对于具有迭代推理和高分辨率处理的模型而言效率较高。
• 消融实验表明，在每次HQS迭代后引入多个PgNets能显著提升性能，尤其在高噪声水平下，通过实现势函数参数的自适应细化。