[论文解读] Domain Adaptation as a Problem of Inference on Graphical Models

Kun Zhang, Mingming Gong+4 more|arXiv (Cornell University)|Feb 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 74被引用 26

一句话总结

该论文提出了一种新颖的域自适应框架，通过增强的图模型对跨域的分布偏移进行建模，将域自适应视为在这些模型上的贝叶斯推断。通过编码联合分布中的不变与可变成分，该方法实现了端到端、数据驱动的自适应，提升了泛化能力，在合成数据集和真实世界数据集（包括WiFi定位和数字图像迁移）上得到验证。

ABSTRACT

This paper is concerned with data-driven unsupervised domain adaptation, where it is unknown in advance how the joint distribution changes across domains, i.e., what factors or modules of the data distribution remain invariant or change across domains. To develop an automated way of domain adaptation with multiple source domains, we propose to use a graphical model as a compact way to encode the change property of the joint distribution, which can be learned from data, and then view domain adaptation as a problem of Bayesian inference on the graphical models. Such a graphical model distinguishes between constant and varied modules of the distribution and specifies the properties of the changes across domains, which serves as prior knowledge of the changing modules for the purpose of deriving the posterior of the target variable $Y$ in the target domain. This provides an end-to-end framework of domain adaptation, in which additional knowledge about how the joint distribution changes, if available, can be directly incorporated to improve the graphical representation. We discuss how causality-based domain adaptation can be put under this umbrella. Experimental results on both synthetic and real data demonstrate the efficacy of the proposed framework for domain adaptation. The code is available at https://github.com/mgong2/DA_Infer .

研究动机与目标

• 解决在事先未知跨域分布偏移性质的情况下进行无监督域自适应的问题。
• 开发一种自动化的端到端框架，学习联合分布如何在多个源域之间变化。
• 将关于分布变化的先验知识——如哪些因素是不变的或可变的——整合到结构化的图模型表示中。
• 通过概率图模型，将基于因果关系的域自适应统一到单一基于推断的框架下。
• 通过利用学习到的分布变化模型和观测到的目标域特征，提升目标域的预测性能。

提出的方法

• 使用增强的有向无环图（DAGs）对联合分布进行因子分解，并显式编码哪些条件分布保持恒定或在不同域之间发生变化。
• 将“母分布”建模为概率图模型，以捕捉域特定分布中的不确定性，并编码关于分布变化的约束条件。
• 在增强的图模型上执行贝叶斯推断，基于观测到的目标域特征 $X^\tau$ 计算目标标签 $Y$ 的后验分布，采用近似后验推断。
• 使用潜在变量条件生成对抗网络（LV-CGANs）在每个域中建模条件分布 $P(X|Y)$，其中共享参数用于不变模块，域特定参数用于可变模块。
• 应用变分推断来近似模型参数 $\boldsymbol{\theta}$ 的后验 $q(\boldsymbol{\theta}|\mathcal{D}^\tau)$，从而实现可扩展的训练与预测。
• 从近似后验中进行蒙特卡洛采样，以估计预测分布 $P(y_k^\tau | \mathbf{x}_k^\tau)$，结合模型参数的不确定性与观测到的特征。

实验结果

研究问题

• RQ1 在无监督域自适应设置下，如何紧凑且自动地表示多个域之间联合分布的结构性变化？
• RQ2 能否将域偏移问题建模为一种在区分分布中不变与可变成分的图模型上的贝叶斯推断问题？
• RQ3 如何将关于联合分布中哪些因素是不变或可变的先验知识整合到图模型中以改善自适应效果？
• RQ4 能否通过增强图模型，将基于因果关系的域自适应原则统一到单一概率推断框架下？
• RQ5 当目标域中缺乏标签时，该框架在捕捉和迁移条件分布 $P(X|Y)$ 方面的效果如何？

主要发现

• 所提出的框架在合成数据集和真实世界域自适应基准上均达到最先进性能，包括WiFi定位和数字图像迁移任务。
• 学习到的增强DAG能准确识别联合分布中的恒定模块与可变模块，且在不同域对之间（如WiFi数据集中t1&t2、t2&t3、t1&t3）表现出一致的结构。
• 在MNIST、SVHN和街景数字数据集上，该方法仅使用源域标签数据和潜在变量C-GANs，成功生成了高质量的目标域图像。
• 即使目标域未标注，该框架仍能有效将 $P(X|Y)$ 传递到目标域，通过生成图像中条件分布的忠实重建得到验证。
• 采用变分推断与蒙特卡洛采样，实现了稳健且可扩展的预测，性能提升归因于对分布偏移的合理建模。