[论文解读] Heterogeneous Graph Transformer

Ziniu Hu, Yuxiao Dong+2 more|arXiv (Cornell University)|Mar 3, 2020

Advanced Graph Neural Networks参考文献 28被引用 30

一句话总结

异质图变换器（HGT）引入元关系感知注意力、异质消息传递和相对时间编码，以建模 Web 规模的异质图，实现对 Open Academic Graph 的训练，并在基线方法上提升 9%–21%。

ABSTRACT

Recent years have witnessed the emerging success of graph neural networks (GNNs) for modeling structured data. However, most GNNs are designed for homogeneous graphs, in which all nodes and edges belong to the same types, making them infeasible to represent heterogeneous structures. In this paper, we present the Heterogeneous Graph Transformer (HGT) architecture for modeling Web-scale heterogeneous graphs. To model heterogeneity, we design node- and edge-type dependent parameters to characterize the heterogeneous attention over each edge, empowering HGT to maintain dedicated representations for different types of nodes and edges. To handle dynamic heterogeneous graphs, we introduce the relative temporal encoding technique into HGT, which is able to capture the dynamic structural dependency with arbitrary durations. To handle Web-scale graph data, we design the heterogeneous mini-batch graph sampling algorithm---HGSampling---for efficient and scalable training. Extensive experiments on the Open Academic Graph of 179 million nodes and 2 billion edges show that the proposed HGT model consistently outperforms all the state-of-the-art GNN baselines by 9%--21% on various downstream tasks.

研究动机与目标

• 通过使用元关系来设计基于节点类型和边类型的表示来捕捉异质性。
• 通过相对时间编码机制对动态图进行建模。
• 通过专门的子图采样方法实现对 Web 规模异质图的可扩展训练。
• 在 Open Academic Graph 和领域特定异质图上验证有效性。

提出的方法

• 提出使用三元组参数 ⟨τ(s), φ(e), τ(t)⟩ 来计算注意力头的元关系感知异质互注意力。
• 设计带有关系感知线性投影和边特定变换矩阵的异质消息传递。
• 应用目标特定聚合，结合残差连接和类型特定线性映射以生成 H^(l)[t]。
• 引入相对时间编码（RTE），使用正弦基底和学习投影将 ΔT(t,s) 注入节点表示中。
• 开发 HGSampling，以在按类型节点预算下为 Web 规模训练创建密集、平衡的异质子图。
• 提供归纳性时间戳分配，通过从事件连接节点继承来为普通节点附加时间戳。

实验结果

研究问题

• RQ1 如何在实现跨类型交互的同时，有效建模具有不同节点/边分布的异质图？
• RQ2 是否可以通过元关系三元组参数化关系，利用 Transformer 启发的注意力机制来提升表示质量？
• RQ3 如何在不构建单独时间切片图的情况下，将时序动态融入到异质图中？
• RQ4 哪种采样策略能够在 Web 规模的异质图上实现可扩展训练，同时避免类型不平衡或信息丢失？
• RQ5 所提方法是否在如 OAG 这类大规模异质图的下游任务上带来改进？

主要发现

• HGT 在下游任务上始终优于最先进的 GNN 基线，提升幅度为 9%–21%。
• 以包含 1.79 亿个节点和 20 亿条边的 Open Academic Graph 来证明可扩展性和有效性。
• HGSampling 能产生平衡、密集的子图，使得在 Web 规模的异质图上进行训练成为可能。
• RTE 使得对具有任意持续时长和未见时间戳的动态结构依赖关系建模成为可能。
• 基于元关系的参数化实现共享，同时保留类型特定的模式，提升泛化能力。
• 案例研究显示 HGT 能自动推断对任务重要的隐含元路径。