[论文解读] Cross-Domain Adversarial Auto-Encoder

Haodi Hou, Jing Huo+1 more|arXiv (Cornell University)|Apr 17, 2018

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 3

一句话总结

本文提出跨域对抗自编码器（CDAAE），一种在共享内容潜在空间和独立风格潜在空间中解耦内容与风格的框架，支持跨域图像生成、转换和域自适应。在 SVHN→MNIST、USPS→MNIST 和 MNIST→USPS 基准测试中，分别取得了 98.28%、96.37% 和 95.91% 的准确率，同时利用了有标签和无标签数据。

ABSTRACT

In this paper, we propose the Cross-Domain Adversarial Auto-Encoder (CDAAE) to address the problem of cross-domain image inference, generation and transformation. We make the assumption that images from different domains share the same latent code space for content, while having separate latent code space for style. The proposed framework can map cross-domain data to a latent code vector consisting of a content part and a style part. The latent code vector is matched with a prior distribution so that we can generate meaningful samples from any part of the prior space. Consequently, given a sample of one domain, our framework can generate various samples of the other domain with the same content of the input. This makes the proposed framework different from the current work of cross-domain transformation. Besides, the proposed framework can be trained with both labeled and unlabeled data, which makes it also suitable for domain adaptation. Experimental results on data sets SVHN, MNIST and CASIA show the proposed framework achieved visually appealing performance for image generation task. Besides, we also demonstrate the proposed method achieved superior results for domain adaptation. Code of our experiments is available in https://github.com/luckycallor/CDAAE.

研究动机与目标

• 通过解耦内容与风格表征，解决跨域图像推理、生成与转换问题。
• 通过操纵风格同时保持内容不变，实现从单一输入生成多样化样本。
• 利用有标签和无标签数据支持域自适应，提升跨域泛化能力。
• 构建统一框架，支持半监督学习与跨域迁移。

提出的方法

• 框架使用独立的内容编码器和风格编码器，其中内容在各域间共享，风格则针对每个域独立建模。
• 通过对抗训练将内容和风格潜在码匹配到先验分布（高斯分布），以支持采样。
• 生成器通过拼接内容和风格潜在码重建图像，并施加重建损失与内容一致性损失。
• 模型同时使用有标签数据（用于域自适应）和无标签数据（用于无监督学习）进行训练。
• 采用提升策略以提高域自适应中的预测置信度，通过阈值化预测结果优化训练过程。
• 通过组合来自一个域的内容与另一个域的风格，实现跨域图像翻译。

实验结果

研究问题

• RQ1 统一的自编码器框架能否有效解耦内容与风格，以实现跨域图像生成？
• RQ2 模型能否通过操纵风格从单一输入生成多样化且语义一致的图像？
• RQ3 该框架是否在同时使用有标签和无标签数据时，实现更优的域自适应性能？
• RQ4 与共享潜在空间方法相比，解耦潜在空间在跨域图像翻译中的表现如何？

主要发现

• CDAAE 在 SVHN 到 MNIST 的域自适应基准测试中达到 98.28% 的准确率，优于先前最先进方法。
• 在更具挑战性的 USPS 到 MNIST 任务中，CDAAE 达到 96.37% 的准确率，显著优于先前 SOTA 方法。
• 该框架通过组合不同域的内容与风格，生成了视觉上吸引人的跨域图像，证明了解耦的有效性。
• 在图像翻译任务中，模型成功生成了多样化输出，内容保持一致且风格成功迁移，即使在无配对样本的情况下亦成立。
• CDAAE 的提升版本在所有域自适应场景中均提升了性能，表明基于置信度的优化策略具有显著有效性。