[论文解读] Both Style and Fog Matter: Cumulative Domain Adaptation for Semantic Foggy Scene Understanding

Xianzheng Ma, Zhixiang Wang+5 more|arXiv (Cornell University)|Dec 1, 2021

Image Enhancement Techniques参考文献 39被引用 8

一句话总结

该论文提出CuDA-Net，一种累积域适应框架，通过解耦语义雾霾场景理解中的风格与雾霾因素，实现从清晰域到雾霾域的分步适应，借助中间域完成。该方法在三个基准测试中达到最先进性能，并通过联合解耦风格、雾霾及双重因素，实现对雨天和雪天场景的泛化，采用新颖的累积损失函数。

ABSTRACT

Although considerable progress has been made in semantic scene understanding under clear weather, it is still a tough problem under adverse weather conditions, such as dense fog, due to the uncertainty caused by imperfect observations. Besides, difficulties in collecting and labeling foggy images hinder the progress of this field. Considering the success in semantic scene understanding under clear weather, we think it is reasonable to transfer knowledge learned from clear images to the foggy domain. As such, the problem becomes to bridge the domain gap between clear images and foggy images. Unlike previous methods that mainly focus on closing the domain gap caused by fog -- defogging the foggy images or fogging the clear images, we propose to alleviate the domain gap by considering fog influence and style variation simultaneously. The motivation is based on our finding that the style-related gap and the fog-related gap can be divided and closed respectively, by adding an intermediate domain. Thus, we propose a new pipeline to cumulatively adapt style, fog and the dual-factor (style and fog). Specifically, we devise a unified framework to disentangle the style factor and the fog factor separately, and then the dual-factor from images in different domains. Furthermore, we collaborate the disentanglement of three factors with a novel cumulative loss to thoroughly disentangle these three factors. Our method achieves the state-of-the-art performance on three benchmarks and shows generalization ability in rainy and snowy scenes.

研究动机与目标

• 为应对恶劣天气条件下语义雾霾场景理解（SFSU）的挑战，其中雾霾降低可见度且标注的雾霾数据稀缺。
• 克服先前域适应方法将域差距视为整体性问题的局限，忽略了风格变化与雾霾退化之间的独立贡献。
• 提出一种方法，明确解耦并分别适应风格与雾霾因素，利用中间域将双重因素域差距分解。
• 通过建模风格、雾霾与双重因素适应之间的累积关系，提升SFSU的性能与泛化能力。

提出的方法

• 提出统一框架，从源域（清晰）、中间域（清晰）和目标域（雾霾）图像中解耦风格与雾霾因素。
• 采用新颖的累积损失函数，强制执行顺序适应：首先从源域到中间域适应风格，然后从中间域到目标域适应雾霾，最后在所有域间实现双重因素适应。
• 利用中间域（如Zurich的清晰图像）将混合域差距分解为风格差距（源域–中间域）与雾霾差距（中间域–目标域）。
• 应用解耦网络分离内容、风格与雾霾因素，实现各因素的独立适应。
• 采用循环训练策略，引入超参数T以稳定优化并提升解耦质量。
• 在累积损失中使用L2距离作为最优度量指标，经消融实验验证。

实验结果

研究问题

• RQ1 语义雾霾场景理解中的域差距能否被有效分解为独立的风格与雾霾相关分量？
• RQ2 累积适应（先适应风格，再适应雾霾，最后同时适应两者）是否相比直接域适应能提升性能？
• RQ3 人工选择的中间域（清晰图像）是否优于基于CNN的选择方法来构建中间域？
• RQ4 所提方法能否泛化至其他恶劣天气条件，如降雨与降雪？
• RQ5 累积损失在解耦风格、雾霾与双重因素方面是否有效？其对超参数的敏感性如何？

主要发现

• CuDA-Net在Foggy Zurich测试集上达到43.06 mIoU，显著优于先前最先进方法。
• 使用完整流程（F_s→m + F_m→t + F_s→t）相比直接适应（F_s→t）提升2.28 mIoU，证明双重因素适应的必要性。
• 采用T=2的循环训练使性能提升2.72 mIoU，表明其在稳定适应过程中的有效性。
• L2距离度量在累积损失中表现最佳，消融实验表明其优于其他距离度量。
• 人工选择中间域（Clear Zurich）优于基于CNN的选择方法，证实人工验证的清晰图像具有更高价值。
• 该方法在雨天与雪天场景中具有良好泛化能力，在ACDC（雨）上达到48.5 mIoU，在ACDC（雪）上达到47.2 mIoU，超越直接适应方法。