[论文解读] Efficient Unpaired Image Dehazing with Cyclic Perceptual-Depth Supervision

Chen Liu, Jiaqi Fan+1 more|arXiv (Cornell University)|Jul 10, 2020

Image Enhancement Techniques参考文献 23被引用 8

一句话总结

该论文提出了一种高效的无配对图像去雾方法，采用循环感知-深度监督与基于八度卷积的双路主干网络，在 NYU Depth V2 数据集上实现了 20.36 的 PSNR，显著优于先前的无配对去雾模型，且 FLOPs 更低。通过深度感知特征学习与循环一致性训练，有效提升了深度边界处的去雾性能。

ABSTRACT

Image dehazing without paired haze-free images is of immense importance, as acquiring paired images often entails significant cost. However, we observe that previous unpaired image dehazing approaches tend to suffer from performance degradation near depth borders, where depth tends to vary abruptly. Hence, we propose to anneal the depth border degradation in unpaired image dehazing with cyclic perceptual-depth supervision. Coupled with the dual-path feature re-using backbones of the generators and discriminators, our model achieves $\mathbf{20.36}$ Peak Signal-to-Noise Ratio (PSNR) on NYU Depth V2 dataset, significantly outperforming its predecessors with reduced Floating Point Operations (FLOPs).

研究动机与目标

• 为解决在深度突变边界附近无配对图像去雾性能下降的问题，此前方法在该区域难以消除残留雾霾。
• 在无需成对无雾图像的情况下，将场景深度信息融入无配对去雾任务中。
• 通过轻量级双路特征表示主干网络，在提升去雾质量的同时降低计算成本。
• 通过循环感知-深度监督提升去雾输出的逼真度与一致性。
• 在相比现有无配对去雾模型更低的 FLOPs 下实现最先进性能。

提出的方法

• 采用基于 CycleGAN 的框架，通过循环一致性损失实现从有雾图像到无雾图像的映射，无需成对数据。
• 提出一种受八度卷积启发的双路特征复用主干网络，将高频与低频空间特征分离，实现高效表征。
• 利用预训练的单目深度估计网络，施加循环感知-深度一致性损失，引导模型实现深度感知去雾。
• 采用基于 ResNet50 的感知损失，跨全部五个阶段计算，以增强生成图像的结构真实感。
• 在判别器中引入谱归一化，以稳定训练过程并提升特征学习能力。
• 结合循环一致性损失、身份映射损失、感知损失、SSIM 损失以及循环深度一致性损失，实现鲁棒优化。

实验结果

研究问题

• RQ1 循环感知-深度监督是否能改善先前无配对方法在失效的深度边界处的去雾性能？
• RQ2 通过八度卷积实现的双路特征表示是否能在降低 FLOPs 的同时提升去雾质量？
• RQ3 在无配对去雾任务中，循环深度一致性损失相较于 SSIM 或标准感知损失表现如何？
• RQ4 采用共享特征路径的轻量级主干网络是否能在参数更少、FLOPs 更低的情况下实现最先进性能？
• RQ5 在无成对数据条件下，集成深度监督是否能提升去雾输出的逼真度与一致性？

主要发现

• 所提模型在 NYU Depth V2 数据集上达到 20.36 的 PSNR，较重新实现的 Cycle-dehaze（16.15）提升 4.91 PSNR，较原始 Cycle-dehaze（15.41）提升 4.95 PSNR。
• 循环感知-深度损失相比基线模型，使 PSNR 提升 6.64%，SSIM 提升 8.22%，优于 SSIM 与标准感知损失。
• 在生成器与判别器中均使用八度卷积，相比标准卷积，使 PSNR 提升 12.00%，SSIM 提升 5.33%。
• 在判别器中加入谱归一化进一步提升性能，证实其在训练稳定性中的关键作用。
• 仅使用 6 个八度卷积模块即实现优越性能，优于原始 Cycle-dehaze 使用的 9 个模块，表明更高的效率。
• 定性结果表明，所提方法能有效去除如桌下或边缘等深度边界处的雾霾，而此前模型常残留雾霾。