[论文解读] Benchmarking Single Image Dehazing and Beyond

Boyi Li, Wenqi Ren+5 more|arXiv (Cornell University)|Dec 12, 2017

Image Enhancement Techniques参考文献 69被引用 32

一句话总结

本论文提出了RESIDE，一个大规模的单图像去雾基准数据集，包含五个专业子集的合成与真实世界雾霾图像。该研究采用多种评估指标——包括全参考、无参考、主观评估以及任务驱动评估——对当前最先进的去雾方法进行了评估，结果表明没有单一模型在所有标准下均表现最优，其中MSCNN在目标检测性能上表现最佳，而AOD-Net在效率方面最为出色。

ABSTRACT

We present a comprehensive study and evaluation of existing single image dehazing algorithms, using a new large-scale benchmark consisting of both synthetic and real-world hazy images, called REalistic Single Image DEhazing (RESIDE). RESIDE highlights diverse data sources and image contents, and is divided into five subsets, each serving different training or evaluation purposes. We further provide a rich variety of criteria for dehazing algorithm evaluation, ranging from full-reference metrics, to no-reference metrics, to subjective evaluation and the novel task-driven evaluation. Experiments on RESIDE shed light on the comparisons and limitations of state-of-the-art dehazing algorithms, and suggest promising future directions.

研究动机与目标

• 为解决在多样化条件下全面评估单图像去雾算法缺乏大规模、综合性基准的问题。
• 采用超越传统PSNR与SSIM的丰富评估指标，包括无参考、主观以及任务驱动评估，对当前最先进的去雾方法进行评估。
• 识别现有去雾方法在感知质量、对真实世界雾霾图像的泛化能力以及下游视觉任务性能方面的优缺点。
• 倡导优先考虑人类感知与高层任务性能的评估协议，而非仅依赖重建质量指标。
• 引导未来研究朝着更鲁棒、与感知对齐且面向应用的去雾模型发展。

提出的方法

• 提出RESIDE，一个大规模基准，包含五个子集：五个合成数据集（RESIDE-1至-5）和一个真实世界雾霾图像数据集（RTTS），每个子集服务于不同的训练与评估目的。
• 以大气散射模型作为物理基础：$ I(x) = J(x)t(x) + A(1 - t(x)) $，其中$ J(x) $为无雾图像，$ A $为大气光，$ t(x) $为透射率图。
• 采用多样化的评估标准：全参考指标（PSNR、SSIM）、无参考指标（SSEQ、BLIINDS-II）、主观评估，以及在RTTS上使用目标检测模型（Faster R-CNN、YOLO-V2、SSD）进行的任务驱动评估。
• 采用基于深度学习的模型（如AOD-Net、DehazeNet、MSCNN、FRCNN）实现端到端去雾与检测，损失函数针对重建质量与感知质量进行优化。
• 通过消融研究与多指标对比分析，评估模型在不同条件下的性能表现。
• 引入任务驱动评估，通过测量去雾图像在目标检测任务中的mAP，评估其在真实世界应用中的实用性，超越传统图像质量指标。

实验结果

研究问题

• RQ1 当前最先进的去雾模型在包括PSNR、SSIM、无参考指标与主观感知在内的多样化评估标准下表现如何？
• RQ2 在合成数据上训练的去雾模型在真实世界雾霾图像上的泛化能力如何？这对下游视觉任务有何影响？
• RQ3 哪一去雾模型在图像质量、计算效率与高层视觉任务（如目标检测）性能之间实现了最佳平衡？
• RQ4 传统先验方法（如暗通道、颜色衰减）与深度学习方法相比，在与人类感知的相关性方面表现如何？
• RQ5 任务驱动评估（如目标检测的mAP）是否可作为比传统图像质量指标更可靠、更真实的评估指标？

主要发现

• AOD-Net在所有评估模型中效率最高，适用于实时应用场景。
• MSCNN在RTTS数据集上表现出最佳检测性能，使用SSD-512时mAP达到47.76，表明其对真实世界雾霾图像具有强泛化能力。
• DehazeNet在感知损失得分上表现最佳（60.01），表明其与人类视觉感知高度一致。
• AOD-Net与DehazeNet在PSNR与SSIM指标上领先，其中AOD-Net在RESIDE-1子集上达到25.20的PSNR，表明其具有优异的重建质量。
• 基于经典先验的方法（如DCP、FVR、BCCR）在无参考指标中表现良好（如BCCR在BLIINDS-II上得分为74.07），表明其具有感知优势。
• 无单一模型在所有评估标准下均表现最优，凸显了重建保真度、感知质量与下游任务性能之间的权衡。