[论文解读] DRANet: Disentangling Representation and Adaptation Networks for Unsupervised Cross-Domain Adaptation

Seunghun Lee, Sunghyun Cho+1 more|arXiv (Cornell University)|Mar 24, 2021

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 4

一句话总结

DRANet 提出了一种新颖的无监督跨域自适应框架，通过在非线性潜在空间中将图像表征解耦为内容和风格因子，实现了无需任何标注数据的双向域迁移。通过采用内容自适应的域迁移模块和域特定的缩放机制，该方法在数字分类和语义分割任务上实现了最先进性能，同时提升了特征解耦程度并生成了更逼真的图像。

ABSTRACT

In this paper, we present DRANet, a network architecture that disentangles image representations and transfers the visual attributes in a latent space for unsupervised cross-domain adaptation. Unlike the existing domain adaptation methods that learn associated features sharing a domain, DRANet preserves the distinctiveness of each domain's characteristics. Our model encodes individual representations of content (scene structure) and style (artistic appearance) from both source and target images. Then, it adapts the domain by incorporating the transferred style factor into the content factor along with learnable weights specified for each domain. This learning framework allows bi-/multi-directional domain adaptation with a single encoder-decoder network and aligns their domain shift. Additionally, we propose a content-adaptive domain transfer module that helps retain scene structure while transferring style. Extensive experiments show our model successfully separates content-style factors and synthesizes visually pleasing domain-transferred images. The proposed method demonstrates state-of-the-art performance on standard digit classification tasks as well as semantic segmentation tasks.

研究动机与目标

• 解决现有域自适应方法依赖共享特征空间及其相关域特征的局限性。
• 通过在非线性潜在空间中解耦内容与风格表征，保留域特定特征。
• 仅使用单个编码器-解码器网络，无需真实类别标签，实现双向域自适应。
• 通过内容自适应的域迁移模块，提升复杂场景（如 Cityscapes 和 GTA5）的图像生成质量。
• 仅使用无标签数据，在分类与语义分割基准上均实现最先进性能。

提出的方法

• 利用非线性分离器在潜在空间中将图像表征解耦为内容（场景结构）和风格（艺术外观）因子。
• 应用域特定的可学习缩放参数，将一种域的风格迁移至另一域的内容，实现多向自适应。
• 引入内容自适应的域迁移（CADT）模块，根据内容相似性动态调整风格迁移，以减少伪影。
• 通过对抗性损失和域混淆进行端到端训练，实现特征对齐的同时保持解耦表征。
• 使用单一编码器-解码器架构同时支持源域到目标域与目标域到源域的域自适应，避免了对多个专用网络的需求。
• 利用非线性映射函数与分离器中的归一化操作，增强表征解耦与域偏移对齐。

实验结果

研究问题

• RQ1 单个深度网络能否在不依赖标注数据的情况下实现双向无监督域自适应？
• RQ2 与线性方法相比，内容与风格的非线性解耦在多大程度上提升了域自适应性能？
• RQ3 内容自适应的域迁移模块在训练初期在多大程度上减少了伪影并提升了图像真实感？
• RQ4 解耦表征是否能在无监督域自适应下实现分类与语义分割任务的最先进性能？
• RQ5 域特定缩放因子与非线性操作如何协同提升特征解耦与域对齐效果？

主要发现

• 在 MNIST-to-USPS 和 USPS-to-MNIST 域自适应任务中，DRANet 分别取得了 98.2% 和 97.8% 的准确率，优于先前方法。
• 在 MNIST-M 基准上，DRANet 达到 98.7% 的准确率，表明其在显著域偏移下具有优越泛化能力。
• 消融实验表明，分离器中的非线性与归一化均至关重要，完整模型在 MNIST-to-MNIST-M 任务上达到 99.3% 的准确率。
• 内容自适应的域迁移（CADT）模块显著减少了训练初期的伪影，即使源域与目标域内容差异较大，也能生成视觉连贯的图像。
• 在 Cityscapes 与 GTA5 的语义分割任务中，DRANet 显著优于基线方法，证实其在复杂场景自适应中的有效性。
• 尽管仅使用无标签数据进行自适应，该模型在标准数字分类与语义分割基准上均实现了最先进结果。