[论文解读] Flare7K++: Mixing Synthetic and Real Datasets for Nighttime Flare Removal and Beyond

Yuekun Dai, Chongyi Li+4 more|arXiv (Cornell University)|Jun 7, 2023

Image Enhancement Techniques被引用 7

一句话总结

Flare7K++ 首次引入了一个全面的数据集，结合了962张真实夜间耀斑图像（Flare-R）和7,000张合成耀斑（Flare7K），实现了端到端的夜间镜头眩光去除，并附带精确的光源标注。所提出的流程利用这些标注提升了耀斑去除效果，同时保留了逼真的光源，显著优于先前方法在处理复杂退化及微小、非过曝耀斑方面的能力。

ABSTRACT

Artificial lights commonly leave strong lens flare artifacts on the images captured at night, degrading both the visual quality and performance of vision algorithms. Existing flare removal approaches mainly focus on removing daytime flares and fail in nighttime cases. Nighttime flare removal is challenging due to the unique luminance and spectrum of artificial lights, as well as the diverse patterns and image degradation of the flares. The scarcity of the nighttime flare removal dataset constraints the research on this crucial task. In this paper, we introduce Flare7K++, the first comprehensive nighttime flare removal dataset, consisting of 962 real-captured flare images (Flare-R) and 7,000 synthetic flares (Flare7K). Compared to Flare7K, Flare7K++ is particularly effective in eliminating complicated degradation around the light source, which is intractable by using synthetic flares alone. Besides, the previous flare removal pipeline relies on the manual threshold and blur kernel settings to extract light sources, which may fail when the light sources are tiny or not overexposed. To address this issue, we additionally provide the annotations of light sources in Flare7K++ and propose a new end-to-end pipeline to preserve the light source while removing lens flares. Our dataset and pipeline offer a valuable foundation and benchmark for future investigations into nighttime flare removal studies. Extensive experiments demonstrate that Flare7K++ supplements the diversity of existing flare datasets and pushes the frontier of nighttime flare removal towards real-world scenarios.

研究动机与目标

• 为解决缺乏真实世界夜间耀斑数据集的问题，该问题阻碍了低光照图像复原的进展。
• 克服现有耀斑去除方法在非过曝或复杂退化耀斑上表现不佳的局限性。
• 开发一个统一的端到端流程，在去除散射和反射耀斑的同时保留光源。
• 提供丰富、组件级别的标注（光源、条纹、眩光），用于训练和基准测试耀斑去除模型。
• 建立一个反映真实世界复杂性与多样性的新型夜间耀斑去除基准。

提出的方法

• 该数据集结合了在暗室中采集的962张真实耀斑图像（Flare-R），其包含多种镜头污染，以及使用物理建模生成的7,000张合成耀斑（Flare7K）。
• Flare7K++ 包含对光源、条纹和眩光的详细标注，并引入了闪烁效果，支持组件特定的训练。
• 提出了一种端到端深度学习流程，通过标注组件联合优化耀斑去除与光源重建。
• 基于U-Net的光源提取网络在5,000张合成散射耀斑上使用L1损失进行训练，以提升真实感并避免如“尾迹”等伪影。
• 耀斑去除模型采用交叉熵损失，类别权重分别为：背景1.0、带闪烁的眩光1.0、条纹2.0、光源4.0。
• 应用数据增强和训练策略（SGD配合多项式衰减，光源模型使用Adam），以增强鲁棒性与收敛性。

实验结果

研究问题

• RQ1 结合合成与真实数据集是否能提升夜间镜头眩光去除模型的泛化能力与真实感？
• RQ2 在组件级别标注下，端到端学习在去除耀斑的同时保留光源的效率如何？
• RQ3 光源标注在多大程度上减少了如‘尾迹’或条纹过度提取等伪影？
• RQ4 与基于阈值的方法相比，所提出的流程是否能更好地处理非过曝、微小或复杂退化的耀斑？
• RQ5 Flare7K++ 与现有数据集相比，在支持真实世界夜间耀斑去除基准方面表现如何？

主要发现

• Flare7K++ 通过支持精确光源标注的端到端训练，显著提升了耀斑去除质量，减少了传统阈值方法带来的伪影。
• 基于U-Net的光源提取模型在光源周围产生了更自然的眩光效果，避免了掩码柔化方法中常见的“尾迹”伪影。
• 在Flare7K++上训练的PSPNet能够准确分割耀斑组件（条纹、眩光、光源），证明了标注在下游任务中的实用性。
• 数据集同时包含真实与合成耀斑，增强了多样性与真实感，使模型能更好地泛化至复杂的真实世界耀斑模式。
• 实验表明，所提出的流程在保持视觉保真度与稳定性方面优于先前方法，尤其在处理细微或非过曝耀斑的挑战性情况时表现更优。
• 该数据集与流程为未来夜间图像复原及视觉算法研究奠定了坚实基础。