[论文解读] Domain Adaptation for Image Dehazing

Yuanjie Shao, Lerenhan Li+3 more|arXiv (Cornell University)|May 10, 2020

Image Enhancement Techniques参考文献 36被引用 6

一句话总结

本文提出了一种用于单图像去雾的端到端域自适应框架，通过双向图像翻译网络和两个域特定的去雾网络结合一致性损失，减少了合成图像与真实雾像之间的域差距。通过利用干净图像先验（如暗通道先验和梯度平滑）将真实雾像融入训练，该方法在合成数据集和真实世界数据集上均取得了最先进性能，PSNR 提升最高达 3.94 dB，SSIM 提升 0.07。

ABSTRACT

Image dehazing using learning-based methods has achieved state-of-the-art performance in recent years. However, most existing methods train a dehazing model on synthetic hazy images, which are less able to generalize well to real hazy images due to domain shift. To address this issue, we propose a domain adaptation paradigm, which consists of an image translation module and two image dehazing modules. Specifically, we first apply a bidirectional translation network to bridge the gap between the synthetic and real domains by translating images from one domain to another. And then, we use images before and after translation to train the proposed two image dehazing networks with a consistency constraint. In this phase, we incorporate the real hazy image into the dehazing training via exploiting the properties of the clear image (e.g., dark channel prior and image gradient smoothing) to further improve the domain adaptivity. By training image translation and dehazing network in an end-to-end manner, we can obtain better effects of both image translation and dehazing. Experimental results on both synthetic and real-world images demonstrate that our model performs favorably against the state-of-the-art dehazing algorithms.

研究动机与目标

• 解决基于深度学习的去雾中合成雾像与真实雾像之间的域偏移问题。
• 提升在合成数据上训练的去雾模型在真实世界雾像上的泛化能力。
• 通过利用干净图像先验将真实雾像融入训练，提升真实图像上的去雾性能。
• 开发一种端到端可训练框架，联合优化图像翻译与去雾任务。
• 在合成与真实雾像基准上均取得优越的视觉与定量结果。

提出的方法

• 使用双向图像翻译网络在合成与真实雾像域之间进行图像转换，借助场景深度信息提升生成图像的真实性。
• 分别训练两个去雾网络——一个用于合成图像，一个用于真实图像——并以原始图像和翻译后的图像作为输入。
• 通过在两个去雾网络输出之间施加一致性损失，确保跨域预测的一致性。
• 通过利用干净图像的特性（如暗通道先验和图像梯度平滑）将真实雾像融入去雾训练，提升域适应能力。
• 端到端联合训练图像翻译与去雾网络，实现相互优化并提升整体性能。
• 采用多阶段训练策略，通过无监督监督联合优化翻译与去雾模块。

实验结果

研究问题

• RQ1 双向图像翻译能否有效减少合成雾像与真实雾像之间的域差距？
• RQ2 通过干净图像先验将真实雾像融入训练，能否提升去雾模型在真实世界数据上的泛化能力？
• RQ3 在域特定去雾网络之间施加一致性损失，能否提升性能与鲁棒性？
• RQ4 所提出的端到端域自适应框架在合成与真实雾像上的表现，与最先进方法相比如何？
• RQ5 图像翻译模块与无监督损失对整体去雾性能的贡献分别是什么？

主要发现

• 在 STOS 合成数据集上，所提方法取得 PSNR 27.76 和 SSIM 0.9284，优于最先进方法 EPDN，PSNR 提升 3.94 dB，SSIM 提升 0.04。
• 在 HazeRD 真实世界数据集上，方法取得 PSNR 29.81 和 SSIM 0.9421，优于 EPDN，PSNR 提升 0.7 dB，SSIM 提升 0.07。
• 消融实验表明，图像翻译网络与无监督损失均显著提升性能，完整模型在 PSNR 与 SSIM 上均优于所有消融变体。
• 在 URHI 数据集的真实雾像上，视觉结果表明，所提方法生成的图像更明亮、更干净，颜色失真与雾霾伪影更少，优于 NLD、GFN、DehazeNet、AOD-Net、DCPDN 与 EPDN。
• 仅使用 S2R 变体（从合成到真实翻译）即能提升仅在合成数据上训练的去雾质量，证明了域翻译在减小域偏移方面的有效性。
• 同时包含翻译与无监督损失的完整模型取得最佳视觉质量，天空更明亮，纹理更清晰，证实了各组件之间的协同增益。