[论文解读] Adverse Weather Image Translation with Asymmetric and Uncertainty-aware GAN

Jeong-gi Kwak, Youngsaeng Jin+4 more|arXiv (Cornell University)|Dec 8, 2021

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出AU-GAN，一种新颖的非对称且具备不确定性感知能力的生成对抗网络，用于恶劣天气图像翻译，特别针对将雨夜图像增强为晴朗白昼场景。通过在正常域生成器中引入特征迁移网络，并采用非对称特征匹配与不确定性感知的循环一致性损失，AU-GAN有效减少了伪影并提升了特征解耦能力，在BDD100K和Alderley数据集上的定性和定量评估中均达到最先进性能。

ABSTRACT

Adverse weather image translation belongs to the unsupervised image-to-image (I2I) translation task which aims to transfer adverse condition domain (eg, rainy night) to standard domain (eg, day). It is a challenging task because images from adverse domains have some artifacts and insufficient information. Recently, many studies employing Generative Adversarial Networks (GANs) have achieved notable success in I2I translation but there are still limitations in applying them to adverse weather enhancement. Symmetric architecture based on bidirectional cycle-consistency loss is adopted as a standard framework for unsupervised domain transfer methods. However, it can lead to inferior translation result if the two domains have imbalanced information. To address this issue, we propose a novel GAN model, i.e., AU-GAN, which has an asymmetric architecture for adverse domain translation. We insert a proposed feature transfer network (${T}$-net) in only a normal domain generator (i.e., rainy night-> day) to enhance encoded features of the adverse domain image. In addition, we introduce asymmetric feature matching for disentanglement of encoded features. Finally, we propose uncertainty-aware cycle-consistency loss to address the regional uncertainty of a cyclic reconstructed image. We demonstrate the effectiveness of our method by qualitative and quantitative comparisons with state-of-the-art models. Codes are available at https://github.com/jgkwak95/AU-GAN.

研究动机与目标

• 为解决对称GAN在恶劣天气条件下无监督图像到图像翻译中的局限性。
• 通过减轻低光照、降雨或模糊图像中的伪影并保留结构细节，提升翻译质量。
• 对重建图像中的区域不确定性进行建模，以减少训练过程中对噪声或受损区域的过度惩罚。
• 在恶劣天气与标准天气图像之间存在显著域差距的情况下，实现域不变特征与域特定特征的有效解耦。
• 开发一种稳健的非对称框架，在将图像从恶劣域翻译到正常域的过程中增强特征表示能力。

提出的方法

• 提出一种非对称生成对抗网络架构，其中仅将恶劣域翻译为正常域（雨夜→白昼）的生成器在编码器与解码器之间引入特征迁移网络（T-net），以优化编码特征。
• 引入非对称特征匹配损失，以在不移除局部物体的前提下提升域不变特征与域特定特征的解耦能力。
• 设计不确定性感知的循环一致性损失，根据置信度图动态调整惩罚强度，降低在循环重建中对伪影的过拟合。
• 利用感知损失与对抗损失，以保持生成图像的高层语义与真实感。
• 在不同域之间共享内容空间以强制一致性，同时允许非对称特征优化以应对信息不平衡问题。
• 使用循环一致性损失与感知损失联合训练模型，并采用改进的目标函数，对重建中不确定区域进行降权处理。

实验结果

研究问题

• RQ1 与对称架构相比，非对称生成对抗网络架构是否能提升恶劣天气条件下的图像翻译质量？
• RQ2 在正常域生成器中引入特征迁移网络，对特征优化与伪影减少有何影响？
• RQ3 不确定性感知的循环一致性损失在多大程度上缓解了循环重建中伪影的传播？
• RQ4 非对称特征匹配是否能有效提升域不变内容与域特定噪声及失真之间的解耦能力？
• RQ5 所提方法是否能泛化至双向翻译（如白天↔夜晚），同时保持高视觉保真度？

主要发现

• AU-GAN在将雨夜图像翻译为晴朗白昼场景时，视觉质量更优，伪影更少，且道路与物体结构保留更佳。
• 不确定性感知的循环一致性损失显著减少了循环重建中的误报，尤其在具有反光或模糊区域表现突出。
• 定性对比显示，AU-GAN在保持物体身份与场景上下文方面优于CycleGAN、UNIT、ToDayGAN与ForkGAN。
• 模型在高分辨率图像（512×1024）上表现稳健，但出现收敛问题与伪影，表明仍需进一步优化网络架构。
• 失败案例显示模型对常见场景元素（如街边树木）存在偏向，导致在黑暗或无特征区域（如建筑或道路）产生幻觉结构。
• 模型在双向翻译任务中泛化良好，能生成合理可信的白天到夜晚与夜晚到白天结果，验证了其尽管设计为非对称，但仍具备对称翻译能力。