[论文解读] DA-HGT: Domain Adaptive Heterogeneous Graph Transformer.

Tiancheng Huang, Ke Xu+1 more|arXiv (Cornell University)|Dec 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 47被引用 6

一句话总结

DA-HGT 是一种新颖的领域自适应异构图变压器，通过联合对齐相同类型节点和边，同时利用私有节点类型，解决了异构信息网络（HINs）中仅部分共享节点类型时的领域偏移问题。它在多个异构网络上的领域自适应任务中优于最先进方法。

ABSTRACT

Domain adaptation using graph networks is to learn label-discriminative and network-invariant node embeddings by sharing graph parameters. Most existing works focus on domain adaptation of homogeneous networks, and just a few works begin to study heterogeneous cases that only consider the shared node types but ignore the private node types in individual networks. However, for a given source and target heterogeneous networks, they generally contain shared and private node types, where private types bring an extra challenge for graph domain adaptation. In this paper, we investigate Heterogeneous Information Networks (HINs) with partial shared node types and propose a novel domain adaptive heterogeneous graph transformer (DA-HGT) to handle the domain shift between them. DA-HGT can not only align the distributions of identical-type nodes and edges in two HINs but also make full use of different-type nodes and edges to improve the performance of knowledge transfer. Extensive experiments on several datasets demonstrate that DA-HGT can outperform state-of-the-art methods in various domain adaptation tasks across heterogeneous networks.

研究动机与目标

• 解决源网络和目标网络仅部分共享节点类型的异构信息网络（HINs）中的领域偏移问题。
• 通过利用异构图网络中的共享和私有节点类型，提升知识迁移效果。
• 开发一种图变压器架构，以对齐不同领域中相同类型节点和边的分布。
• 在现有方法难以应对私有节点类型挑战的异构网络中，实现有效的领域自适应。

提出的方法

• 提出一种领域自适应异构图变压器（DA-HGT），将领域对齐与异构图注意力机制相结合。
• 引入共享节点类型对齐模块，以对齐源和目标HIN中相同类型节点和边的分布。
• 设计私有节点类型聚合模块，以保留并利用每个领域中私有节点的类型特异性信息。
• 采用异构图注意力网络（HGT）主干网络，以建模HIN中多样的关系类型和节点语义。
• 使用对比学习目标，以鼓励共享节点类型的领域不变表示。
• 通过可学习的融合机制结合共享和私有节点表示，以增强知识迁移。

实验结果

研究问题

• RQ1 在节点类型仅部分重叠的异构信息网络中，如何有效实现领域自适应？
• RQ2 源和目标HIN中的私有节点类型在领域自适应的知识迁移中能发挥多大作用？
• RQ3 基于图变压器的架构能否同时对齐共享节点类型并利用私有节点类型以提升性能？
• RQ4 DA-HGT在跨领域异构网络分类任务中与最先进方法相比表现如何？

主要发现

• DA-HGT在多个异构网络领域自适应基准测试中，性能全面优于最先进方法。
• 该模型通过对齐源网络和目标网络中相同类型节点和边的分布，有效缓解了领域偏移。
• 利用私有节点类型带来了显著的性能提升，证明了其在知识迁移中的价值。
• 消融实验确认，共享对齐和私有节点利用对于实现最佳性能均至关重要。