[论文解读] GridDehazeNet: Attention-Based Multi-Scale Network for Image Dehazing

Xiaohong Liu, Yongrui Ma+2 more|ArXiv.org|Aug 8, 2019

Image Enhancement Techniques参考文献 40被引用 133

一句话总结

GridDehazeNet 是一个端到端的单图像去雾卷积神经网络，使用一个可训练的预处理模块、基于注意力的多尺度网格骨干以及后处理阶段，在不依赖大气散射模型的情况下超越了现有方法。

ABSTRACT

We propose an end-to-end trainable Convolutional Neural Network (CNN), named GridDehazeNet, for single image dehazing. The GridDehazeNet consists of three modules: pre-processing, backbone, and post-processing. The trainable pre-processing module can generate learned inputs with better diversity and more pertinent features as compared to those derived inputs produced by hand-selected pre-processing methods. The backbone module implements a novel attention-based multi-scale estimation on a grid network, which can effectively alleviate the bottleneck issue often encountered in the conventional multi-scale approach. The post-processing module helps to reduce the artifacts in the final output. Experimental results indicate that the GridDehazeNet outperforms the state-of-the-arts on both synthetic and real-world images. The proposed hazing method does not rely on the atmosphere scattering model, and we provide an explanation as to why it is not necessarily beneficial to take advantage of the dimension reduction offered by the atmosphere scattering model for image dehazing, even if only the dehazing results on synthetic images are concerned.

研究动机与目标

• 激励去雾研究时不严格依赖大气散射模型。
• 引入一个可训练的预处理模块，以生成多样化的学习输入。
• 构建基于注意力的网格骨干，实现高效的多尺度信息交换。
• 纳入后处理阶段以减少输出伪影。
• 在合成和现实世界的雾霾图像上展示业界领先的性能。

提出的方法

• 可训练的预处理模块，将雾霾图像转换为16个学习输入。
• 基于网格的骨干网络，设有三行六列，实现密集的跨尺度信息交换。
• 通道注意力，用于融合来自行/列流的多尺度特征。
• 后处理模块，用以抑制最终去雾图像中的伪影。
• 损失函数将平滑L1损失与感知损失相结合，使用来自 Conv1-2、Conv2-2、Conv3-3 层的 VGG16 特征，λ=0.04。

实验结果

研究问题

• RQ1 完全可训练的去雾网络是否在合成和真实雾图像上能超越基于模型的方法及其他数据驱动方法？
• RQ2 基于网格、以注意力为引导的多尺度骨干是否比编码-解码或标准多尺度网络更能克服尺度瓶颈？
• RQ3 即使在合成数据上，绕过大气散射模型去雾是否更有利？
• RQ4 学习型预处理输入是否相对手工设计或衍生输入带来多样性提升？

主要发现

方法	室内 PSNR	室内 SSIM	室外 PSNR	室外 SSIM	Sun RGB-D PSNR	Sun RGB-D SSIM
DCP	16.61	0.8546	19.14	0.8605	15.18	0.8191
DehazeNet	19.82	0.8209	24.75	0.9269	23.05	0.8870
MSCNN	19.84	0.8327	22.06	0.9078	23.85	0.9095
AOD-Net	20.51	0.8162	24.14	0.9198	22.51	0.8918
GFN	24.91	0.9186	28.29	0.9621	25.35	0.9250
Ours	32.16	0.9836	30.86	0.9819	28.67	0.9599

• 在 SOTS 室内/室外和 Sun RGB-D 数据集上，在 PSNR/SSIM 指标上超过最先进方法。
• 学习输入相较于派生输入提供多样性提升，从而提升性能。
• GridDehazeNet 结合基于注意力的融合，获得最佳的定性与定量结果，包括减少伪影。
• 绕过大气散射模型可以获得比间接基于模型估计更好的优化表面和去雾性能。
• 消融研究表明，完整模型的各个组件（grid backbone、attention fusion、post-processing、perceptual loss）都对性能提升有贡献。