[论文解读] Domain Stylization: A Strong, Simple Baseline for Synthetic to Real Image Domain Adaptation

Ayşegül Dündar, Ming-Yu Liu+3 more|arXiv (Cornell University)|Jul 24, 2018

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 72

一句话总结

本论文提出 Domain Stylization (DS)，一种简单、非GAN 方法，通过随机配对真实图像来桥接合成图像与真实之间的差距，对语义分割和目标检测在不训练 GAN 的情况下达到最先进结果。

ABSTRACT

Deep neural networks have largely failed to effectively utilize synthetic data when applied to real images due to the covariate shift problem. In this paper, we show that by applying a straightforward modification to an existing photorealistic style transfer algorithm, we achieve state-of-the-art synthetic-to-real domain adaptation results. We conduct extensive experimental validations on four synthetic-to-real tasks for semantic segmentation and object detection, and show that our approach exceeds the performance of any current state-of-the-art GAN-based image translation approach as measured by segmentation and object detection metrics. Furthermore we offer a distance based analysis of our method which shows a dramatic reduction in Frechet Inception distance between the source and target domains, offering a quantitative metric that demonstrates the effectiveness of our algorithm in bridging the synthetic-to-real gap.

研究动机与目标

• 解决在将合成数据用于现实世界视觉任务时的协变量偏移。
• 提出一种简单的、非 GAN 的方法，使用真实图像对合成图像进行风格化，同时保留语义内容。
• 在多个基准数据集上展示语义分割和目标检测的最先进性能。
• 提供 Frechet Inception Distance (FID) 分析，以量化合成域与真实域之间的分布对齐。
• 提供关于迭代域风格化及其对性能影响的实用见解。

提出的方法

• 使用现有的真实感风格迁移算法（FastPhotoStyle）对合成图像进行风格化，配以随机选择的真实图像。
• 在风格化过程中通过保持与合成图像相关联的分割掩码不变来保留语义内容。
• 迭代训练语义分割网络，并使用预测的真实图像掩码对合成数据进行再次风格化以改进风格迁移（算法1）。
• 通过将合成图像与真实风格配对生成风格化数据集 D^S；在风格化数据上训练 SSL 网络。
• 在 Cityscapes (GTA/SYNTHIA 到 Cityscapes) 以及 NYU/ SUNCG (SUNCG 到 NYU) 上，将 DS 与基于 GAN 的翻译和域随机化基线进行对比评估。
• 使用 Frechet Inception Distance (FID) 来量化域对齐，并在使用分割感知风格化时显示出下降。

实验结果

研究问题

• RQ1 基于真实感风格迁移的 DS 方法是否优于基于 GAN 的图像翻译在合成到真实域适应中的表现？
• RQ2 使用真实风格对合成图像进行风格化（有无分割地图）如何影响分割和检测性能？
• RQ3 DS 是否能通过 FID 的量化减小分布偏移，分割掩码的粒度如何影响这一点？
• RQ4 迭代 DS 与 SSL 对最终在各任务中的表现（街景、室内场景、目标检测）的影响是什么？

主要发现

• 在 GTA→Cityscapes 和 SYNTHIA→Cityscapes 的语义分割任务中，DS 的准确性优于或与基于 GAN 的翻译方法相当。
• 在若干设定下，带有分割地图的 DS 比不带掩码的 DS 提供更大改进。
• DS 提升 KITTI 目标检测在合成基线之上的表现，并优于若干 GAN 基方法。
• FID 分析显示 DS 显著降低合成到真实的分布距离，尤其是在使用分割地图时。
• 迭代的 DS/SSL 程序带来进一步收益，但在迭代两次后回报递减。