[论文解读] DyFormer: A Scalable Dynamic Graph Transformer with Provable Benefits on Generalization Ability

Weilin Cong, Yanhong Wu+5 more|arXiv (Cornell University)|Nov 19, 2021

Advanced Graph Neural Networks参考文献 40被引用 4

一句话总结

DyFormer 是一种可扩展的动态图 Transformer，通过时空编码和基于子图采样的双塔架构，建模隐式边和时间演化，在真实世界动态图基准上持续实现 1%–3% 的 AUC 提升，同时通过可证明有益的自监督预训练提升泛化能力。

ABSTRACT

Transformers have achieved great success in several domains, including Natural Language Processing and Computer Vision. However, its application to real-world graphs is less explored, mainly due to its high computation cost and its poor generalizability caused by the lack of enough training data in the graph domain. To fill in this gap, we propose a scalable Transformer-like dynamic graph learning method named Dynamic Graph Transformer (DyFormer) with spatial-temporal encoding to effectively learn graph topology and capture implicit links. To achieve efficient and scalable training, we propose temporal-union graph structure and its associated subgraph-based node sampling strategy. To improve the generalization ability, we introduce two complementary self-supervised pre-training tasks and show that jointly optimizing the two pre-training tasks results in a smaller Bayesian error rate via an information-theoretic analysis. Extensive experiments on the real-world datasets illustrate that DyFormer achieves a consistent 1%-3% AUC gain (averaged over all time steps) compared with baselines on all benchmarks.

研究动机与目标

• 解决图神经网络在动态图上因缺失或虚假链接而导致的泛化能力差的问题。
• 克服因图规模和时间步数增加而带来的动态图学习可扩展性限制。
• 通过基于信息论的互补自监督预训练任务，提升模型鲁棒性和泛化能力。
• 设计一种与图规模和时间复杂度无关的高效训练框架，利用时间并集图和目标节点采样。
• 在多个真实世界数据集上实现动态链接预测的最先进性能。

提出的方法

• DyFormer 采用双塔 Transformer 架构并结合时空编码，将结构和时间演化归纳偏差注入模型。
• 提出一种时间并集图结构，将多个时间步的信息聚合到一个统一的元图中，以实现高效的表征学习。
• 提出一种基于子图的节点采样策略，使训练复杂度与图规模和时间步数无关。
• 模型使用全注意力机制，捕捉输入图拓扑之外的隐式节点关系，增强对缺失或虚假链接的鲁棒性。
• 设计了两个互补的自监督预训练任务，以提升泛化能力，并通过信息论分析证明其可减少贝叶斯误差率。
• 联合优化预训练目标，以提升下游性能，同时保持可扩展性。

实验结果

研究问题

• RQ1 基于 Transformer 的架构结合时空编码，能否有效建模动态图演化并捕捉隐式链接？
• RQ2 联合优化两个互补的自监督预训练任务是否能实现可证明更好的泛化能力，且信息论分析支持该结论？
• RQ3 基于子图的采样策略结合时间并集图结构，能否实现与图规模和时间步数无关的训练复杂度？
• RQ4 在真实世界数据集上，DyFormer 在动态链接预测上的表现相较于最先进基线如何？
• RQ5 当输入图存在噪声（如缺失或虚假链接）时，DyFormer 的鲁棒性如何？

主要发现

• 在所有真实世界动态图数据集的链接预测任务中，DyFormer 在所有基线方法上均实现了 1%–3% 的一致 Macro AUC 提升。
• 模型表现出更高的稳定性，不同随机种子下的 AUC 分数标准差更低，表明训练更具鲁棒性。
• 预训练显著提升性能：未使用预训练的 DyFormer 表现较差，AUC 较低且方差较大，尤其在高参数复杂度下更为明显。
• 在人工引入 10%–50% 虚假或缺失链接的噪声图上，采用全注意力聚合的 DyFormer 维持了更高且更稳定的 AUC 分数，优于 1-hop 注意力变体。
• 在 10% 噪声下，全注意力变体在 UCI 数据集上达到 86.12±0.57 Macro AUC，在 Yelp 数据集上达到 71.64±0.18，某些场景下相比 1-hop 注意力提升超过 3%。
• 消融实验确认了时空编码、双塔架构和子图采样策略在提升性能和可扩展性方面的有效性。