[论文解读] Analogical Image Translation for Fog Generation

Rui Gong, Dengxin Dai+3 more|arXiv (Cornell University)|Jun 28, 2020

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一种零样本图像到图像翻译框架——类比图像翻译（Analogical Image Translation, AIT），可将合成的晴天图像中的雾效应无须使用真实雾天图像进行训练，直接迁移至真实晴天图像上。通过在合成配对数据上进行监督学习、在真实域中引入循环一致性约束，并在域之间实施对抗性训练，该方法在生成逼真雾效方面达到当前最优性能，显著提升了下游语义雾天场景理解任务的表现。

ABSTRACT

Image-to-image translation is to map images from a given \emph{style} to another given \emph{style}. While exceptionally successful, current methods assume the availability of training images in both source and target domains, which does not always hold in practice. Inspired by humans' reasoning capability of analogy, we propose analogical image translation (AIT). Given images of two styles in the source domain: $\mathcal{A}$ and $\mathcal{A}^\prime$, along with images $\mathcal{B}$ of the first style in the target domain, learn a model to translate $\mathcal{B}$ to $\mathcal{B}^\prime$ in the target domain, such that $\mathcal{A}:\mathcal{A}^\prime ::\mathcal{B}:\mathcal{B}^\prime$. AIT is especially useful for translation scenarios in which training data of one style is hard to obtain but training data of the same two styles in another domain is available. For instance, in the case from normal conditions to extreme, rare conditions, obtaining real training images for the latter case is challenging but obtaining synthetic data for both cases is relatively easy. In this work, we are interested in adding adverse weather effects, more specifically fog effects, to images taken in clear weather. To circumvent the challenge of collecting real foggy images, AIT learns with synthetic clear-weather images, synthetic foggy images and real clear-weather images to add fog effects onto real clear-weather images without seeing any real foggy images during training. AIT achieves this zero-shot image translation capability by coupling a supervised training scheme in the synthetic domain, a cycle consistency strategy in the real domain, an adversarial training scheme between the two domains, and a novel network design. Experiments show the effectiveness of our method for zero-short image translation and its benefit for downstream tasks such as semantic foggy scene understanding.

研究动机与目标

• 为解决自动驾驶与场景理解中恶劣天气条件（尤其是雾天图像）真实数据有限的问题。
• 在无真实雾天训练图像的前提下，通过跨域类比推理实现零样本图像翻译。
• 将从合成晴天与雾天图像中学到的翻译‘本质’迁移至真实晴天图像，实现逼真雾效合成。
• 利用合成雾化数据提升语义分割模型在恶劣天气条件下的鲁棒性。

提出的方法

• 该方法命名为 AnalogicalGAN，通过在合成的晴天与雾天图像配对数据上采用监督训练方案，学习图像翻译的‘本质’。
• 在合成域与真实域之间实施对抗性训练，使真实晴天图像的分布与合成翻译输出对齐。
• 在真实域中施加循环一致性损失，确保将生成的雾天图像反向翻译回晴天图像时能保持身份一致性。
• 提出一种新型网络架构，融合双域特征，实现零样本翻译的域不变表示学习。
• 采用端到端训练方式，结合对抗性损失、循环一致性损失与重建损失，确保生成结果的逼真度与保真度。
• 该方法设计具有通用性，可扩展至其他类比图像翻译任务。

实验结果

研究问题

• RQ1 模型能否在未见过任何真实雾天图像的情况下，实现从合成图像到真实图像的雾效迁移？
• RQ2 域间的类比推理是否能在低数据场景下提升零样本图像翻译性能？
• RQ3 从合成数据中学到的翻译‘本质’能否有效泛化至真实世界图像翻译任务？
• RQ4 与基于物理模型和基于GAN的图像生成方法相比，该方法在逼真度与下游任务性能方面表现如何？

主要发现

• AnalogicalGAN 在 Foggy Zurich 与 Foggy Driving 基准测试中，于语义雾天场景理解任务上优于基于物理模型的方法（如 'Foggy Cityscapes' 与 'Foggy Synscapes'）。
• 在 Foggy Zurich 数据集上，使用 RefineNet 时，AnalogicalGAN 相较于 'Foggy Cityscapes' 与 'Foggy Synscapes' 的混合基线，性能提升 2.4%。
• 在 Foggy Driving 数据集上，使用 BiseNet 时，该方法相较同一混合基线实现 4.7% 的性能提升。
• 使用 RefineNet 时，AnalogicalGAN 在 Foggy Driving 数据集上达到 50.3% 的 mIoU，与当前最优的 50.7% 相当。
• 在所有测试集与语义分割网络上，该方法性能与 CycleGAN 和 MUNIT 相当或更优。
• 将 'AnalogicalGAN Cityscapes' 与 'Foggy Synscapes' 融合后，性能进一步提升，证明了该方法的兼容性与可扩展性。