[论文解读] DiDA: Disentangled Synthesis for Domain Adaptation

Jinming Cao, Oren Katzir+5 more|ArXiv.org|May 21, 2018

Domain Adaptation and Few-Shot Learning参考文献 19被引用 21

一句话总结

本文提出DiDA，一种通过解耦特征学习迭代提升无监督域自适应的框架。通过从源域和目标域中分离出共有的（共享的）特征与域特定的特征，DiDA 利用源域标签和目标域特定属性合成逼真的、伪标签化的目标域图像，进而用于优化解耦与域自适应，从而在多个基准和主干模型上实现一致的性能提升。

ABSTRACT

Unsupervised domain adaptation aims at learning a shared model for two related, but not identical, domains by leveraging supervision from a source domain to an unsupervised target domain. A number of effective domain adaptation approaches rely on the ability to extract discriminative, yet domain-invariant, latent factors which are common to both domains. Extracting latent commonality is also useful for disentanglement analysis, enabling separation between the common and the domain-specific features of both domains. In this paper, we present a method for boosting domain adaptation performance by leveraging disentanglement analysis. The key idea is that by learning to separately extract both the common and the domain-specific features, one can synthesize more target domain data with supervision, thereby boosting the domain adaptation performance. Better common feature extraction, in turn, helps further improve the disentanglement analysis and disentangled synthesis. We show that iterating between domain adaptation and disentanglement analysis can consistently improve each other on several unsupervised domain adaptation tasks, for various domain adaptation backbone models.

研究动机与目标

• 为解决无监督域自适应中的域偏移问题，即标注的源域数据与无标注的目标域数据在分布上存在显著差异。
• 通过显式地将源域和目标域中的共性、与任务相关特征与域特定、分布特定特征解耦，提升域自适应性能。
• 通过结合源域标签与目标域特定特征，实现逼真、伪标签化的目标域图像合成，从而增强训练数据以实现更好的适应。
• 建立一个反馈循环，使更优的解耦提升域自适应性能，而更优的域自适应反过来提升解耦质量。

提出的方法

• 该方法采用基于变分自编码器架构的解耦表征学习框架，将输入图像分解为共享（共性）特征与域特定特征。
• 从源域和目标域中提取共性特征，并用于训练一个可在域间泛化的分类器，同时将域特定特征解耦以保留域身份信息。
• 通过将源图像的共性特征（及其源标签）与目标图像的域特定特征相结合，生成合成的目标域图像，从而生成逼真、伪标签化的训练样本。
• 框架在域自适应与解耦学习之间迭代交替：域自适应提升共性特征质量，从而增强解耦效果，反之亦然。
• 建立一个迭代优化循环，使域自适应模型的性能与解耦特征的质量在多轮迭代中共同进化。
• 该方法兼容多种主干域自适应模型，且无需对原始自适应框架进行修改。

实验结果

研究问题

• RQ1 迭代式解耦与域自适应是否能在反馈循环中相互促进，从而提升整体域自适应性能？
• RQ2 利用源域标签与目标域特定特征进行目标域图像的解耦合成，在无标注目标数据上的泛化能力能提升到何种程度？
• RQ3 解耦后的共性特征与域特定特征在多大程度上能将与任务相关的语义内容与域特定的分布偏移有效分离？
• RQ4 解耦质量是否与目标域基准上的分类准确率提升存在相关性？

主要发现

• DiDA 在多个无监督域自适应基准上达到最先进性能，包括 MNIST→MNISTM（98% 准确率）、MNIST→USPS（95%）和 SVHN→MNIST（95%），显著优于随机基线与基线方法。
• DiDA 提取的共性特征包含强类别信息，基于其训练的分类器准确率高达 98%、95%、95%；而基于域特定特征的分类器性能接近随机基线（12%、11%、20%），表明解耦质量优异。
• 随着 DiDA 迭代进行，合成的目标域图像的视觉质量逐步提升，生成图像在外观与内容上越来越接近真实的目标域图像。
• t-SNE 可视化结果表明，源域与目标域的共性特征在迭代过程中逐渐对齐并聚类更紧密，而域特定特征则愈发分离，表明解耦与特征去混淆效果得到提升。
• 解耦与域自适应之间的迭代反馈机制带来了持续的性能增益，证明了两个模块之间的相互促进作用。