[论文解读] Domain Invariant Representation Learning with Domain Density Transformations

Antoinette T Nguyen, Trần Khánh Toàn+2 more|arXiv (Cornell University)|Feb 9, 2021

Domain Adaptation and Few-Shot Learning被引用 25

一句话总结

本文提出通过强制对域密度变换的不变性来学习领域不变表示，这些变换由 GAN 学习，在 Rotated MNIST、VLCS 和 PACS 数据集上提升域泛化。

ABSTRACT

Domain generalization refers to the problem where we aim to train a model on data from a set of source domains so that the model can generalize to unseen target domains. Naively training a model on the aggregate set of data (pooled from all source domains) has been shown to perform suboptimally, since the information learned by that model might be domain-specific and generalize imperfectly to target domains. To tackle this problem, a predominant approach is to find and learn some domain-invariant information in order to use it for the prediction task. In this paper, we propose a theoretically grounded method to learn a domain-invariant representation by enforcing the representation network to be invariant under all transformation functions among domains. We also show how to use generative adversarial networks to learn such domain transformations to implement our method in practice. We demonstrate the effectiveness of our method on several widely used datasets for the domain generalization problem, on all of which we achieve competitive results with state-of-the-art models.

研究动机与目标

• 动机并形式化域泛化问题，以及在跨域实现联合边际分布和条件分布对齐的必要性。
• 表征存在域不变表示的必要且充分条件。
• 提出一个理论上有据可依的在域密度变换下强制表示不变性的方法。
• 给出使用基于 GAN 的域变换学习（DIRT-GAN）的实际实现。
• 在标准域泛化基准（Rotated MNIST、VLCS、PACS）上进行实证验证。

提出的方法

• 定义一个域不变表示 z，使 p(z|d) 和 p(y|z,d) 在跨域上保持不变。
• 引入跨域的域密度变换函数 f_{d,d'}，并证明 p(z|x)=p(z|f_{d,d'}(x)) 意味着跨域的联合对齐。
• 优化一个损失，由预测损失 l(y,g_theta(x)) 与一个域不变性项 dis( g_theta(x), g_theta(f_{d,d'}(x)) ) 组成。
• 使用 StarGAN 学习域变换函数 f_{d,d'}，以实现对域密度的实用估计。
• 将该方法实现为 DIRT-GAN，将 StarGAN 与表示网络 g_theta 集成，以在训练期间促进不变性。
• 在 Rotated MNIST、VLCS、PACS 上进行留一域实验并使用标准骨干网络（CNN、AlexNet、ResNet18）进行评估。

实验结果

研究问题

• RQ1 在跨多个源域存在域不变表示的条件是什么？
• RQ2 是否存在对学习到的域密度变换不变的表示能够实现跨域的联合边际分布和条件分布对齐？
• RQ3 将 GAN 学习的域变换纳入表示学习目标是否能提升域泛化性能？
• RQ4 与现有的域不变基线在标准 DG 基准上的比较如何？
• RQ5 该方法对多域是否可扩展，测试阶段是否实用？

主要发现

• DIRT-GAN 在 Rotated MNIST 上优于域不变性基线，在所报道的方法中达到最先进的结果。
• 在 VLCS 和 PACS 上，DIRT-GAN 相对于同 backbone 的 CIDG、CIDDG 和 DGER 基线有显著提升。
• 可视化显示，与朴素训练相比，在学习表示中边际和条件分布的对齐更好。
• 由于 StarGAN 组件仅在训练阶段使用，该方法保持了有竞争力的测试时效率。
• 跨数据集，DIRT-GAN 展示出鲁棒的域泛化能力，而不需要跨域的标签分布一致性。