[论文解读] Gated Fusion Network for Single Image Dehazing

Wenqi Ren, Lin Ma+5 more|arXiv (Cornell University)|Mar 31, 2018

Image Enhancement Techniques参考文献 39被引用 61

一句话总结

GFN 使用一个端到端的门控融合网络，将来自朦胧图像的三种派生输入（White Balance、Contrast Enhancement、Gamma Correction）与学习的置信度图融合，实现直接去雾，不需要显式的传输t(x)或大气光估计，并采用多尺度细化以减少光晕。

ABSTRACT

In this paper, we propose an efficient algorithm to directly restore a clear image from a hazy input. The proposed algorithm hinges on an end-to-end trainable neural network that consists of an encoder and a decoder. The encoder is exploited to capture the context of the derived input images, while the decoder is employed to estimate the contribution of each input to the final dehazed result using the learned representations attributed to the encoder. The constructed network adopts a novel fusion-based strategy which derives three inputs from an original hazy image by applying White Balance (WB), Contrast Enhancing (CE), and Gamma Correction (GC). We compute pixel-wise confidence maps based on the appearance differences between these different inputs to blend the information of the derived inputs and preserve the regions with pleasant visibility. The final dehazed image is yielded by gating the important features of the derived inputs. To train the network, we introduce a multi-scale approach such that the halo artifacts can be avoided. Extensive experimental results on both synthetic and real-world images demonstrate that the proposed algorithm performs favorably against the state-of-the-art algorithms.

研究动机与目标

• 在无需显式传输t(x)和大气光估计的情况下推动去雾，以避免来自不正确先验的伪影。
• 引入一种基于融合的架构，利用多种派生输入来恢复能见度和颜色。
• 开发像素级置信度图以门控派生输入的贡献，从而实现鲁棒去雾。
• 结合多尺度训练策略以抑制光晕伪影并提高恢复质量。

提出的方法

• 从朦胧图像派生三个输入：White Balanced (WB)、Contrast Enhanced (CE) 和 Gamma Corrected (GC)。
• 使用带跳跃连接的编码-解码网络来提取特征并学习重建派生输入的置信度图。
• 将最终去雾图像计算为门控融合：J = C_wb ∘ I_wb + C_ce ∘ I_ce + C_gc ∘ I_gc，其中 ∘ 表示逐元素乘法。
• 使用多尺度损失进行训练，在每个尺度应用均方误差（MSE），形成清晰图像金字塔并减少光晕伪影。
• 可选地加入对抗性损失及判别器以鼓励更锐利、更加真实的输出（GAN 框架）。
• 端到端训练，无需显式估计传输 t(x) 或大气光 A，从而避免来自不正确先验的伪影。

实验结果

研究问题

• RQ1 一种将单幅朦胧图像的多种派生输入进行门控融合的框架，是否能超越依赖显式传输和大气光估计的方法？
• RQ2 学习得到的像素级置信度图是否能有效地从每个派生输入中选择最具信息量的区域以进行去雾？
• RQ3 多尺度训练策略是否能在不同霾水平下减少光晕伪影并提高恢复质量？
• RQ4 在合成图像和真实图像上，与最先进的去雾方法在 PSNR 和 SSIM 方面的比较如何？

主要发现

• 该方法在合成和真实世界的朦胧图像上对比最先进方法取得了良好表现。
• 与单尺度变体相比，多尺度细化有助于减少光晕伪影并改善边缘保真度。
• 通过学习的置信度图进行门控可减少色彩失真并保留重要的场景细节。
• 该方法在 NVIDIA K80 GPU 上大约以 0.3 秒处理一张 640×480 的图像，显示出高效性。
• 在某些情况下，与对抗性损失训练可以进一步提升感知质量，同时在其他情况下保持高 SSIM。