[论文解读] Improved Techniques for Learning to Dehaze and Beyond: A Collective Study

Yu Liu, Guanlong Zhao+9 more|arXiv (Cornell University)|Jun 30, 2018

Image Enhancement Techniques参考文献 25被引用 42

一句话总结

该论文研究基于感知的损失函数用于单图像去雾，并探索域自适应和级联方法以提升雾图像对象检测，在 RESIDE 基准上取得显著提升。

ABSTRACT

Here we explore two related but important tasks based on the recently released REalistic Single Image DEhazing (RESIDE) benchmark dataset: (i) single image dehazing as a low-level image restoration problem; and (ii) high-level visual understanding (e.g., object detection) of hazy images. For the first task, we investigated a variety of loss functions and show that perception-driven loss significantly improves dehazing performance. In the second task, we provide multiple solutions including using advanced modules in the dehazing-detection cascade and domain-adaptive object detectors. In both tasks, our proposed solutions significantly improve performance. GitHub repository URL is: https://github.com/guanlongzhao/dehaze

研究动机与目标

• 通过让训练损失与人类感知对齐来提升单图像去雾性能。
• 通过去雾-检测级联和域自适应，在雾天情况下提升高级视觉任务（对象检测）的性能。
• 在 RESIDE 数据集和 RTTS 上评估损失函数与检测管线以实现实际增益。

提出的方法

• 评估替代的感知基损失（L1、SSIM、MS-SSIM、MS-SSIM 搭配 L2/L1），以替代 AOD-Net 的标准 MSE。
• 用暖启动和调整后的超参数对表现最佳的损失（MS-SSIM with L2）进行微调。
• 使用预先训练的检测器（Faster R-CNN、SSD、RetinaNet、Mask R-CNN）和多种去雾方法（DCP、DehazeNet、AOD-Net、MSCNN、DCPDN）测试多种去雾-检测级联。
• 提出一个带梯度反转层的域自适应 Mask R-CNN（DMask-RCNN），以缩小清晰图像与雾图像之间的域差距。
• 在两个目标域（未标注的雾 RESIDE 图像和去雾版本）进行实验，并在 RTTS 上测量 mAP。

实验结果

研究问题

• RQ1 感知基损失（SSIM、MS-SSIM）能否在 RESIDE 上超越 MSE 进行去雾重建？
• RQ2 在雾图像检测的级联设置中，去雾方法与检测器如何相互作用？
• RQ3 域自适应是否能提升雾天条件下的目标检测，哪个目标域最能降低域间差距？
• RQ4 将去雾与域自适应检测器结合对检测性能有何影响？

主要发现

• MS-SSIM with L2 损失在室内外雾环境下实现最佳整体 PSNR/SSIM，相较 AOD-Net 基线有显著提升。
• 微调后的最佳 Task 1 结果：在联合集合上 PSNR 23.43 dB，SSIM 0.8747。
• 在 Task 2 中，域自适应检测器（DMask-RCNN）优于非自适应级联，在测试管线中 MSCNN+DMask-RCNN2 取得最高的 mAP（0.634）。
• 仅仅使用更先进的检测器并不能保证在雾域检测中表现更好，因为雾/去雾域与清晰图像之间存在域差距。
• 使用 MSCNN 去雾和 DMask-RCNN 检测的去雾-检测级联，在各方案中呈现最强性能。
• 域自适应有效缩小源域（清晰）与目标域（雾/去雾）之间的差距，从而提升检测性能。