[论文解读] Causal Generative Domain Adaptation Networks

Mingming Gong, Kun Zhang+4 more|arXiv (Cornell University)|Apr 12, 2018

Domain Adaptation and Few-Shot Learning参考文献 28被引用 21

一句话总结

本文提出因果生成域自适应网络（CG-DAN），一种非参数方法，通过生成框架中的潜在变量建模域间差异，实现跨域的分布差异建模与数据生成。通过利用因果结构分解高维特征依赖关系，CG-DAN 提升了统计与计算效率，在合成数据集和真实世界数据集上的跨域预测与域生成任务中达到最先进性能。

ABSTRACT

An essential problem in domain adaptation is to understand and make use of distribution changes across domains. For this purpose, we first propose a flexible Generative Domain Adaptation Network (G-DAN) with specific latent variables to capture changes in the generating process of features across domains. By explicitly modeling the changes, one can even generate data in new domains using the generating process with new values for the latent variables in G-DAN. In practice, the process to generate all features together may involve high-dimensional latent variables, requiring dealing with distributions in high dimensions and making it difficult to learn domain changes from few source domains. Interestingly, by further making use of the causal representation of joint distributions, we then decompose the joint distribution into separate modules, each of which involves different low-dimensional latent variables and can be learned separately, leading to a Causal G-DAN (CG-DAN). This improves both statistical and computational efficiency of the learning procedure. Finally, by matching the feature distribution in the target domain, we can recover the target-domain joint distribution and derive the learning machine for the target domain. We demonstrate the efficacy of both G-DAN and CG-DAN in domain generation and cross-domain prediction on both synthetic and real data experiments.

研究动机与目标

• 解决在条件分布转移下的无监督域自适应问题，即 $P_{X|Y}$ 在不同域之间发生变化，且目标域无标签数据可用。
• 以灵活的非参数方式建模分布变化，而无需对 $P_{X|Y}$ 施加强参数假设。
• 通过利用因果模块化结构分解联合分布，提升学习效率与可解释性。
• 通过在生成模型的潜在变量空间中插值，实现在新域中的数据生成。
• 通过特征分布匹配恢复目标域的联合分布 $P_{XY}$，从而实现在目标域中的精确预测。

提出的方法

• 提出生成域自适应网络（G-DAN），通过函数 $X = g(Y, E, \bm{\theta})$ 建模 $P_{X|Y}$，其中 $\bm{\theta}$ 为域特定的潜在变量，$E$ 为共享噪声。
• 在各域间共享生成器 $g$ 和噪声 $E$，而 $\bm{\theta}$ 则捕捉特征分布的域特定变化。
• 在目标域中采用特征分布匹配以恢复目标域的 $P_{XY}$，从而实现目标域特定的预测。
• 通过根据因果图对联合分布进行分解，引入因果 G-DAN（CG-DAN），将 $\bm{\theta}$ 分解为互不相交的模块化组件。
• 利用因果系统模块化特性，分别估计每个模块的潜在变量，降低维度并提升学习效率。
• 在 CG-DAN 中使用神经网络（MLPs）参数化生成器 $g$ 与条件分布，每个模块的 $\bm{\theta}_i$ 维度较低。

实验结果

研究问题

• RQ1 我们能否在不施加强参数假设的前提下，对 $P_{X|Y}$ 在不同域之间的任意变化进行建模？
• RQ2 我们能否仅使用无标签目标数据与特征分布匹配，恢复目标域的联合分布 $P_{XY}$？
• RQ3 因果结构分解能否提升学习域转移的统计与计算效率？
• RQ4 我们能否通过在生成模型的潜在变量空间中插值，生成新域中的真实数据？
• RQ5 引入因果结构是否能提升跨域预测任务中的泛化性能？

主要发现

• 在 $\mathtt{t1} \rightarrow \mathtt{t2}$ 的 WiFi 定位任务中，CG-DAN 在跨域预测中优于 G-DAN 与先前方法（KMM、TCA、SuK、DIP、CTC），准确率达到 91.66%。
• 在 $\mathtt{t1} \rightarrow \mathtt{t3}$ 的时间迁移任务中，CG-DAN 达到 93.17% 的准确率，较表现第二好的方法（CTC）高出超过 3 个百分点。
• 在设备迁移任务中，CG-DAN 在 $\mathtt{hallway2}$ 上达到 87.74% 的准确率，优于次佳方法（CTC）1.2%。
• G-DAN 通过在 $\bm{\theta}$ 空间中插值并从噪声 $E$ 中采样，实现了新域中的数据生成，展示了其在域迁移中的实际应用价值。
• 在仅使用单一源域与无标签目标数据的条件下，该方法在温和条件下恢复了目标域的 $P_{XY}$，从而实现了有效的预测。
• 在所有评估任务中，CG-DAN 的性能均优于 G-DAN，证实了因果结构分解在降低模型复杂度与提升估计性能方面的优势。