[论文解读] InstaGAN: Instance-aware Image-to-Image Translation

Sangwoo Mo, Minsu Cho+1 more|arXiv (Cornell University)|Dec 28, 2018

Generative Adversarial Networks and Image Synthesis参考文献 44被引用 99

一句话总结

InstaGAN 使用实例分割掩码来进行无监督的多实例图像到图像翻译，具有上下文保持损失和序列小批量训练。

ABSTRACT

Unsupervised image-to-image translation has gained considerable attention due to the recent impressive progress based on generative adversarial networks (GANs). However, previous methods often fail in challenging cases, in particular, when an image has multiple target instances and a translation task involves significant changes in shape, e.g., translating pants to skirts in fashion images. To tackle the issues, we propose a novel method, coined instance-aware GAN (InstaGAN), that incorporates the instance information (e.g., object segmentation masks) and improves multi-instance transfiguration. The proposed method translates both an image and the corresponding set of instance attributes while maintaining the permutation invariance property of the instances. To this end, we introduce a context preserving loss that encourages the network to learn the identity function outside of target instances. We also propose a sequential mini-batch inference/training technique that handles multiple instances with a limited GPU memory and enhances the network to generalize better for multiple instances. Our comparative evaluation demonstrates the effectiveness of the proposed method on different image datasets, in particular, in the aforementioned challenging cases. Code and results are available in https://github.com/sangwoomo/instagan

研究动机与目标

• 推动图像到图像翻译，处理多个目标实例和显著的形状变化。
• 融入实例信息（分割掩码）以提高变换保真度。
• 在翻译对应属性时确保实例顺序的置换不变性。
• 在变换目标实例时保持背景上下文。
• 在有限的显存条件下实现对多实例的训练与推理。

提出的方法

• 提出一种架构，使其能够翻译图像以及对应的实例属性集合，同时对实例顺序保持置换不变性。
• 将图像和实例属性编码为联合特征表示，其中属性集合通过置换不变操作（如求和）进行聚合。
• 使用基于循环一致性的GAN框架在域之间学习双向映射（XY 与 YX）。
• 引入强调变换目标实例并保持背景内容的上下文保持损失。
• 开发一种序列小批量翻译技术，以有限显存处理大量实例，并通过中间样本提供数据增强以增强泛化能力。

实验结果

研究问题

• RQ1 如何将实例级信息（如分割掩码）整合到无监督的图像到图像翻译中，以处理多个实例和形状变化？
• RQ2 上下文保持损失是否在多实例场景中提高背景保真度和实例变换质量？
• RQ3 序列小批量翻译能否在受限显存的条件下实现对多实例的训练与推理，同时保持置换不变性？

主要发现

• 在 CCP、MHP 和 COCO 数据集上的多实例变换任务中，优于 CycleGAN。
• 实现了更具形状感知的翻译，保持实例的布局和观看方向。
• 上下文保持损失提升了背景保持和翻译质量，不仅仅是背景保留。
• 序列小批量翻译使得在大量实例下进行训练成为可能，并作为数据增强促进泛化。
• 该方法通过对输入掩码进行条件化，允许控制要翻译的实例。