[论文解读] Generic Model-Agnostic Convolutional Neural Network for Single Image Dehazing

Zheng Liu, Botao Xiao+3 more|arXiv (Cornell University)|Oct 5, 2018

Image Enhancement Techniques被引用 9

一句话总结

该论文提出了一种通用的、与模型无关的卷积神经网络（GMAN），用于单图像去雾，该方法直接学习恢复无雾图像，而无需依赖大气散射模型或估计诸如消光亮度（A）和透射率（t）等参数。采用带有残差块的端到端编码器-解码器架构，在SOTS户外数据集上实现了最先进性能，PSNR达到28.19，SSIM达到0.9638。

ABSTRACT

Haze and smog are among the most common environmental factors impacting image quality and, therefore, image analysis. This paper proposes an end-to-end generative method for image dehazing. It is based on designing a fully convolutional neural network to recognize haze structures in input images and restore clear, haze-free images. The proposed method is agnostic in the sense that it does not explore the atmosphere scattering model. Somewhat surprisingly, it achieves superior performance relative to all existing state-of-the-art methods for image dehazing even on SOTS outdoor images, which are synthesized using the atmosphere scattering model. Project detail and code can be found here: https://github.com/Seanforfun/GMAN_Net_Haze_Removal

研究动机与目标

• 解决依赖大气散射模型及插件参数估计的模型依赖型去雾方法的局限性。
• 开发一种通用的、端到端的深度学习框架，直接从有雾输入中恢复清晰图像，而无需估计A和t(x)。
• 提升泛化能力，避免现有方法中常见的伪影，如色彩失真和边缘过度锐化。
• 探索超越去雾任务的更通用、与架构无关的图像恢复方法的潜力。

提出的方法

• 提出一种完全卷积的编码器-解码器网络，每层使用64个滤波器（下采样层使用128个），采用$3\times3$卷积核和ReLU激活函数。
• 使用四个残差块，其深度逐步增加（分别包含2、2、3、4层卷积），以学习分层的雾霾特征并改善梯度流动。
• 使用像素级L2损失函数进行端到端训练：$L = \sum_{i} \| \hat{Y}_i - Y_i \|^2$，以最小化重建误差。
• 训练时使用$224\times224$的输入尺寸并进行随机裁剪，但推理时支持任意输入尺寸。
• 采用Adam优化器，初始初始学习率为0.001，$\beta_1=0.9$，$\beta_2=0.999$，在NVIDIA Titan Xp GPU上使用批量大小为35进行训练。
• 网络训练20个周期，损失收敛至0.0004，表明优化过程稳定且有效。

实验结果

研究问题

• RQ1 一种与模型无关的深度学习方法是否能在单图像去雾任务中超越依赖大气散射模型的最先进方法？
• RQ2 在不进行参数估计（A和t(x)）的前提下，直接进行端到端图像恢复是否能带来更好的泛化能力并减少伪影？
• RQ3 一种通用的全卷积架构是否能在合成数据集和真实世界去雾基准上均实现更优性能？
• RQ4 与插件式方法相比，该方法在色彩保真度和边缘保持方面表现如何？
• RQ5 像GMAN这样的通用架构在多大程度上可以推广到去雾以外的其他图像恢复任务？

主要发现

• 在SOTS户外数据集上，GMAN实现了28.19的PSNR和0.9638的SSIM，显著优于所有对比方法，包括DCP、DehazeNet、MSCNN、AOD-Net和GFN。
• GMAN避免了常见伪影，如DCP中的色彩变暗和MSCNN中的过度边缘锐化。
• 在SOTS室内数据集上，GMAN实现了20.53的PSNR和0.8081的SSIM，在对比方法中排名第四，表明其在室内场景中表现强劲但非主导。
• 该模型对大气散射模型未能完全捕捉的复杂雾霾结构表现出鲁棒性，表明其学习到了更具泛化能力的特征。
• 训练损失在20个周期后收敛至0.0004，表明优化过程稳定且高效。
• 结果表明，与模型无关的端到端学习方法可超越基于模型的插件式方法，尤其在图像质量和自然外观保持方面表现更优。