[论文解读] Learning Cross-Domain Disentangled Deep Representation with Supervision from A Single Domain.

Tzu-Chien Fu, Yen‐Cheng Liu+3 more|arXiv (Cornell University)|May 3, 2017

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 10

一句话总结

该论文提出了一种基于GAN的深度生成模型，仅使用单个源域的属性级监督，学习解耦的跨域表征。通过联合执行特征解耦和无监督域自适应，该模型在无需目标域标注的情况下，实现了跨域的特定属性图像生成与分类。

ABSTRACT

The recent progress and development of deep generative models have led to remark- able improvements in research topics in computer vision and machine learning. In this paper, we address the task of cross-domain feature disentanglement. We advance the idea of unsupervised domain adaptation and propose to perform joint feature disentanglement and adaptation. Based on generative adversarial networks, we present a novel deep learning architecture with disentanglement ability, which observes cross-domain image data and derives latent features with the underly- ing factors (e.g., attributes). As a result, our generative model is able to address cross-domain feature disentanglement with only the (attribute) supervision from the source-domain data (not the target-domain ones). In the experiments, we apply our model for generating and classifying images with particular attributes, and show that satisfactory results can be produced.

研究动机与目标

• 解决在无目标域标注的情况下跨域特征解耦的挑战。
• 通过将解耦整合到学习过程中，推进无监督域自适应。
• 仅使用源域监督，实现跨域特定属性图像的生成与分类。
• 开发一种深度生成架构，以解耦跨域图像数据中的潜在因素（例如属性）。

提出的方法

• 设计一种生成对抗网络（GAN）框架，联合优化解耦与域自适应。
• 仅使用源域的属性级监督来指导解耦潜在因子的学习。
• 通过将图像特征分解为域不变和域特定因子，学习解耦表征。
• 使用对抗损失和重建损失端到端训练模型，以保持属性语义。
• 应用解耦损失，以鼓励潜在空间中潜在属性的解耦。
• 通过利用解耦表征在目标域中实现生成与分类，实现零样本属性迁移。

实验结果

研究问题

• RQ1 能否仅使用源域属性监督，在跨域中学习到解耦表征？
• RQ2 该模型在无任何目标域标注的情况下，能否在目标域中生成具有特定属性的图像？
• RQ3 解耦表征在目标域中对未见属性的分类性能提升程度如何？
• RQ4 联合解耦与自适应机制在对齐域特定特征的同时保持属性语义方面，效果如何？

主要发现

• 该模型成功仅使用源域属性标注，在跨域中学习到解耦表征。
• 该模型在无任何目标域监督的情况下，在目标域中生成特定属性图像方面表现出强劲性能。
• 解耦表征使目标域中未见属性的零样本分类变得准确。
• 与基线方法相比，联合解耦与自适应框架在泛化能力和属性迁移方面表现更优。