[论文解读] UG$^{2+}$ Track 2: A Collective Benchmark Effort for Evaluating and Advancing Image Understanding in Poor Visibility Environments

Ye Yuan, Wenhan Yang+4 more|arXiv (Cornell University)|Apr 9, 2019

Image Enhancement Techniques参考文献 149被引用 36

一句话总结

本研究提出 UG2+ Track 2，一个包含三个真实世界数据集（雾霾、低光、雨滴）的集体基准，用于共同评估并推进在能见度差的场景中的目标/人脸检测，并给出基线结果，显示仍有显著提升空间。

ABSTRACT

The UG$^{2+}$ challenge in IEEE CVPR 2019 aims to evoke a comprehensive discussion and exploration about how low-level vision techniques can benefit the high-level automatic visual recognition in various scenarios. In its second track, we focus on object or face detection in poor visibility enhancements caused by bad weathers (haze, rain) and low light conditions. While existing enhancement methods are empirically expected to help the high-level end task, that is observed to not always be the case in practice. To provide a more thorough examination and fair comparison, we introduce three benchmark sets collected in real-world hazy, rainy, and low-light conditions, respectively, with annotate objects/faces annotated. To our best knowledge, this is the first and currently largest effort of its kind. Baseline results by cascading existing enhancement and detection models are reported, indicating the highly challenging nature of our new data as well as the large room for further technical innovations. We expect a large participation from the broad research community to address these challenges together.

研究动机与目标

• 通过在天气和光照退化条件下评估检测，推动野外鲁棒视觉感知。
• 提供三个带注释的真实世界数据集，用于研究雾霾、曝光不足和降雨对检测/识别的影响。
• 评估低层次视觉增强是否有助于高层次识别，并探索半监督/零样本学习设置。
• 提供基线结果以量化差距并推动未来的方法创新。

提出的方法

• 三个子挑战涵盖不同的能见度差条件：雾霾（挑战 2.1）、低光/曝光不足（挑战 2.2）、以及雨滴遮挡（挑战 2.3）。
• 提供新的基准数据集：RESIDE RTTS 用于雾霾场景，包含 4,322 张带注释的用于训练/验证的图像以及 2,987 张保留的雾霾测试图像，覆盖五个目标类别；DARK FACE 含 10,000 张曝光不足的脸部用于训练/验证和 4,000 张测试图像；以及 1,010 对雨滴图像用于近零样本训练，附带 2,495 张图像的保留测试集。
• 基线评估以现成的修复/增强方法和预训练检测器为线索，量化退化和修复对检测性能的影响。
• 评估指标为平均精度均值（mAP），IoU 阈值为 0.5，当 0.5 的 mAP 相同时用更高的 IoU 来打破平局。

实验结果

研究问题

• RQ1 在不进行任务特定适配的情况下，当前的目标/人脸检测器在真实世界的雾霾、雨天和低光图像上的表现如何？
• RQ2 常规的修复/增强流程是否能够在能见度差的条件下提升高层次检测/识别性能？
• RQ3 在退化环境中利用（半）监督或零样本训练来进行检测有哪些收益？
• RQ4 从检测器表现和评估角度看，真实世界的退化与合成生成的退化有何不同？
• RQ5 在同时优化低级增强和高级识别方面有哪些局限性和未来方向？

主要发现

• 在干净数据上预训练的基线检测器在雾霾图像上的性能显著下降，Mask R-CNN 在雾霾验证数据上约达到 41.83 mAP，其他检测器的结果也相近。
• 去雾在将检测器应用于去雾图像时，检测性能可适度提升（平均约 1% mAP），在测试的检测器中，Mask R-CNN 通常产生最佳检测性能。
• 在子挑战 2.1 中，保留测试集的结果显著低于验证集，表明存在域差异以及真实世界雾霾场景的挑战（例如测试 mAP 值在几十级而非接近高几十）。
• 子挑战 2.2 使用 DARK FACE 数据集，训练/验证包含 10,000 张带注释的人脸（共 43,849 张人脸），测试包含 4,000 张图像（共 37,711 张人脸），在曝光不足条件下的人脸检测中，尺度、角度和光照存在显著变异性。
• 子挑战 2.3 提供 1,010 对雨滴图像用于训练/验证，以及 2,495 张图像的保留测试集；初步结果表明零样本/无监督设置在雨相关遮挡下的路面物体检测仍具挑战性。
• 总体而言，论文报道在挑战 2.1 和 2.2 中，获胜者的 mAP 低于 65，挑战 2.3 未有参与者超越基线结果，强调了高难度与方法创新的空间。