[论文解读] FIFO: Learning Fog-invariant Features for Foggy Scene Segmentation

SoHyun Lee, Taeyoung Son+1 more|arXiv (Cornell University)|Apr 4, 2022

Image Enhancement Techniques被引用 10

一句话总结

FIFO 通过将雾霾建模为一种风格，并使用可学习的透雾滤波器从神经风格表征中提取与雾霾相关的因素，提出了一种新颖的方法来学习语义分割中对雾霾不变的特征。通过交替优化透雾滤波器和分割网络，以缩小清晰图像、合成雾霾图像与真实雾霾图像之间的风格差异，FIFO 在真实雾霾数据集上实现了最先进性能，同时在清晰天气图像上的准确率也得到提升，优于以往在清晰场景下性能下降的方法。

ABSTRACT

Robust visual recognition under adverse weather conditions is of great importance in real-world applications. In this context, we propose a new method for learning semantic segmentation models robust against fog. Its key idea is to consider the fog condition of an image as its style and close the gap between images with different fog conditions in neural style spaces of a segmentation model. In particular, since the neural style of an image is in general affected by other factors as well as fog, we introduce a fog-pass filter module that learns to extract a fog-relevant factor from the style. Optimizing the fog-pass filter and the segmentation model alternately gradually closes the style gap between different fog conditions and allows to learn fog-invariant features in consequence. Our method substantially outperforms previous work on three real foggy image datasets. Moreover, it improves performance on both foggy and clear weather images, while existing methods often degrade performance on clear scenes.

研究动机与目标

• 开发一种鲁棒的语义分割模型，能够在不同雾霾条件下泛化，且在清晰天气图像上不出现性能下降。
• 解决真实雾霾数据标注有限的问题，以及现有模型在雾霾场景下性能下降的挑战。
• 通过将雾霾建模为一种风格，并在神经特征空间中弥合风格差异，学习对雾霾不变的特征。
• 消除训练过程中对复杂课程学习或雾霾密度控制的需求。
• 通过将雾霾特定的风格因子与内容及其他环境因素分离，提升泛化能力。

提出的方法

• FIFO 将雾霾条件视为一种风格，并使用特征图的 Gram 矩阵作为可学习透雾滤波器模块的输入。
• 透雾滤波器学习提取一个紧凑的雾霾因子嵌入，仅捕捉与雾霾相关的风格信息，将其与内容及其他因素分离。
• 分割网络通过最小化不同雾霾域（清晰、合成、真实雾霾）之间雾霾因子的距离进行训练，同时保留域内差异。
• 透雾滤波器与分割网络通过交替优化进行联合训练，实现端到端训练，无需外部雾霾密度控制。
• 透雾滤波器是一个辅助模块，仅在训练阶段使用，推理阶段被丢弃。
• 该方法利用度量学习损失，将相似的雾霾因子拉近，将不同的雾霾因子推开，促进域不变特征学习。

实验结果

研究问题

• RQ1 我们能否通过在神经特征空间中将雾霾建模为一种风格，学习到对雾霾不变的语义分割特征？
• RQ2 如何在神经风格表征中将雾霾特定的风格因子与内容及其他环境因素分离？
• RQ3 与采用雾霾密度控制的课程学习相比，通过交替优化透雾滤波器与分割网络的端到端训练是否表现更优？
• RQ4 在合成与真实雾霾数据上进行训练的模型，是否能在不降低清晰天气图像性能的前提下泛化到真实雾霾场景？
• RQ5 与领域对抗学习及其他基于风格的自适应技术相比，该方法在处理对雾霾不变特征学习方面表现如何？

主要发现

• FIFO 在三个真实雾霾场景分割基准上达到最先进性能：FZ test v2 上为 48.4 mIoU，FDD 上为 48.9，FD 上为 50.7。
• 与之前最先进模型 CMAda3+ 相比，FIFO 在 FZ test v2 上提升 1.6 mIoU，FDD 上提升 5.9，FD 上提升 0.9。
• 该方法提升了清晰天气图像上的分割准确率，而以往方法在这些输入上性能会下降。
• 定性结果表明，FIFO 在密集雾霾区域生成了更高质量的分割结果，而基线模型在此类区域会失效。
• 图像重建结果表明，FIFO 提升了雾霾图像和清晰图像的图像清晰度，表明其成功实现了对雾霾不变的特征学习。
• 消融实验确认，若不使用透雾滤波器而直接最小化 Gram 矩阵差异，性能会次优，验证了滤波器模块的必要性。