[论文解读] Graph-Relational Domain Adaptation

Zihao Xu, Hao he+3 more|arXiv (Cornell University)|Feb 8, 2022

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出图关系域自适应（GRDA），一种新颖的对抗性域自适应方法，通过使用域图来建模域之间的关系，以图结构对齐替代均匀对齐。通过引入一个从编码特征重建域图的图判别器，GRDA 实现了灵活且拓扑感知的域对齐，在包括 DG-15、TPT-48 和 CompCars 在内的合成与真实世界基准上超越了最先进方法。

ABSTRACT

Existing domain adaptation methods tend to treat every domain equally and align them all perfectly. Such uniform alignment ignores topological structures among different domains; therefore it may be beneficial for nearby domains, but not necessarily for distant domains. In this work, we relax such uniform alignment by using a domain graph to encode domain adjacency, e.g., a graph of states in the US with each state as a domain and each edge indicating adjacency, thereby allowing domains to align flexibly based on the graph structure. We generalize the existing adversarial learning framework with a novel graph discriminator using encoding-conditioned graph embeddings. Theoretical analysis shows that at equilibrium, our method recovers classic domain adaptation when the graph is a clique, and achieves non-trivial alignment for other types of graphs. Empirical results show that our approach successfully generalizes uniform alignment, naturally incorporates domain information represented by graphs, and improves upon existing domain adaptation methods on both synthetic and real-world datasets. Code will soon be available at https://github.com/Wang-ML-Lab/GRDA.

研究动机与目标

• 为解决现有域自适应方法在忽略其结构关系的情况下强制对所有域进行均匀对齐的局限性。
• 使用图来建模域关系，其中节点代表域，边代表邻接性或相似性，如地理邻近性或语义相似性。
• 开发一种可泛化的对抗性域自适应框架，根据域图的拓扑结构自适应调整对齐策略，而非强制实施均匀对齐。
• 理论上证明当域图为完全图（clique）时，GRDA 可恢复经典域自适应，而对于其他图类型则实现非平凡的、结构感知的对齐。
• 通过实证验证，GRDA 在利用合成与真实世界设置中的域图结构时，性能优于最先进方法。

提出的方法

• 将对抗性域自适应中标准的二元或多元分类判别器替换为一个从编码特征重建域图的图判别器。
• 使用编码条件化的图嵌入，使判别器能够评估域的编码表示是否与给定的域图结构一致。
• 通过对抗性目标联合训练编码器与判别器，以促使模型学习尊重图拓扑的域不变特征。
• 将图重建任务表述为节点分类或链接预测问题，其中判别器预测域嵌入之间的边。
• 将图判别器集成到标准域自适应流程中，保持与神经网络的端到端训练。
• 确保当域图为完全图（即完全图）时，GRDA 退化为标准域自适应，从而保留其理论保证。

实验结果

研究问题

• RQ1 域自适应能否超越均匀对齐，以利用域之间的拓扑关系？
• RQ2 在异质域设置中，图结构化的域图是否能实现比均匀对齐更有效且更灵活的域对齐？
• RQ3 图判别器能否有效从特征编码中重建域图，从而强制实现尊重域邻接性的对齐？
• RQ4 在具有已知域图结构的数据集上，GRDA 与最先进域自适应方法相比表现如何？
• RQ5 在均匀对齐失效的远距离域之间，GRDA 是否保持稳健性能？

主要发现

• 在 CompCars 数据集上，GRDA 达到 51.0% 的准确率，比 Source-Only 提高 9.68%，显著优于包括 DANN、ADDA、CDANN 和 MDD 在内的最先进方法。
• 在 DG-15 数据集上，GRDA 在所有目标域上均保持超过 50% 的准确率，而 MDD 及其他最先进方法在多个情况下低于 50%，表明对域偏移具有更强鲁棒性。
• 在 TPT-48 任务中，GRDA 在 $E(24)\to W(24)$ 和 $N(24)\to S(24)$ 两个适配任务中，所有目标域的平均均方误差（MSE）均最低，优于 DANN、ADDA、CDANN 和 MDD。
• 在 TPT-48 中，GRDA 在所有目标域层级（Level-1、Level-2、Level-3）均实现更低的 MSE，表明其性能稳定且具有细粒度的提升。
• 理论分析证实，当域图为完全图时，GRDA 可恢复标准域自适应；对于链状、星型等其他图结构，则实现非平凡的、拓扑感知的对齐。
• 实证结果表明，GRDA 成功泛化了均匀对齐，自然地整合了域图信息，并在合成与真实世界数据集上均提升了性能。