[论文解读] Domain Agnostic Learning with Disentangled Representations

Xingchao Peng, Zijun Huang+2 more|arXiv (Cornell University)|Apr 28, 2019

Domain Adaptation and Few-Shot Learning被引用 137

一句话总结

本文提出 Domain-Agnostic Learning (DAL) 和 Deep Adversarial Disentangled Autoencoder (DADA)，用于将域不变特征、域特定特征和类无关特征解耦，从而实现从带标签源域到无标签、混合目标域的知识转移，并在若干数据集上达到最先进的效果。

ABSTRACT

Unsupervised model transfer has the potential to greatly improve the generalizability of deep models to novel domains. Yet the current literature assumes that the separation of target data into distinct domains is known as a priori. In this paper, we propose the task of Domain-Agnostic Learning (DAL): How to transfer knowledge from a labeled source domain to unlabeled data from arbitrary target domains? To tackle this problem, we devise a novel Deep Adversarial Disentangled Autoencoder (DADA) capable of disentangling domain-specific features from class identity. We demonstrate experimentally that when the target domain labels are unknown, DADA leads to state-of-the-art performance on several image classification datasets.

研究动机与目标

• 解决目标数据来自多个无域标签的域且没有域标签时的域偏移问题。
• 在学习域不变特征的同时去除域特定信息和类别无关信息。
• 通过最小化互信息与对抗训练来增强解耦。
• 证明类别解耦能提升域自适应性能。
• 在 DAL 协议下，在标准图像分类基准上展示最先进的结果。

提出的方法

• 引入 Deep Adversarial Disentangled Autoencoder (DADA)，将特征分割为域不变、域特定和类别无关三部分。
• 使用基于 Variational Autoencoder (VAE) 的编码器/解码器框架进行解耦与重建。
• 通过对抗设置进行类别解耦，使用在源域上训练以预测标签的类别标识符，而解耦器使其误判（L_ent）。
• 在潜在空间中应用域解耦，使用域标识符区分源与目标，训练解耦器以产生域不变特征（L_DI）。
• 使用 Mutual Information Neural Estimator (MINE) 最小化 (域不变、域特定) 与 (域不变、类别无关) 特征之间的互信息。
• 融入环状归一化以在异质域之间稳定嵌入（ring loss 与 GM 变体）。
• 端到端训练，交替优化目标包括重建（L_vae）和对抗/解耦损失；使用重建机制从 (f_di, f_ds) 或 (f_di, f_ci) 重建 G。

实验结果

研究问题

• RQ1 是否可以在没有域标签的情况下，将知识从单一带标签的源域转移到无标签、异质的目标域？
• RQ2 将域不变特征从域特定和类别无关特征中解耦是否会提升转移性能？
• RQ3 对抗式类别解耦结合互信息最小化是否能产生更优的领域无关表示？
• RQ4 消融组件（类别解耦、域解耦、ring loss、重建）如何影响性能？
• RQ5 DADA 对 Digit-Five、Office-Caltech10、DomainNet 等标准 DAL 基准的影响如何？

主要发现

• DADA 在 Digit-Five、Office-Caltech10 和 DomainNet 等多项域无关学习任务中达到最先进的性能。
• 消融研究表明类别解耦和域解耦均有助于性能提升，完整模型（包含 ring loss 和重建）提供最佳结果。
• 引入环状归一化（ring loss）显著提升性能，体现了在 DAL 中稳定特征归一化的重要性。
• 通过 MINE 的互信息最小化加强了解耦并改善源域与异质目标之间的一致性，在实证结果中有所体现。
• t-SNE 可视化表明，与 UFDN 和 MCD 等基线相比，DADA 特征呈现更清晰的类别分离，支持目标域中的更好判别。
• 定量分析表明，与基线相比，DADA 在学习到的特征中降低了域差异（A-distance），更有效地对齐源分布和目标分布。