[论文解读] Edgeformers: Graph-Empowered Transformers for Representation Learning on Textual-Edge Networks

Bowen Jin, Yu Zhang+2 more|arXiv (Cornell University)|Feb 21, 2023

Advanced Graph Neural Networks被引用 5

一句话总结

Edgeformers 是一种图增强的 Transformer 框架，通过联合建模文本边内容与网络结构，实现更优的节点和边表示学习。通过在边文本编码过程中向每个 Transformer 层注入图信号，并利用自我图注意力机制聚合上下文感知的边表示，Edgeformers 在五个真实世界数据集的边分类和链接预测任务中均优于当前最先进基线模型。

ABSTRACT

Edges in many real-world social/information networks are associated with rich text information (e.g., user-user communications or user-product reviews). However, mainstream network representation learning models focus on propagating and aggregating node attributes, lacking specific designs to utilize text semantics on edges. While there exist edge-aware graph neural networks, they directly initialize edge attributes as a feature vector, which cannot fully capture the contextualized text semantics of edges. In this paper, we propose Edgeformers, a framework built upon graph-enhanced Transformers, to perform edge and node representation learning by modeling texts on edges in a contextualized way. Specifically, in edge representation learning, we inject network information into each Transformer layer when encoding edge texts; in node representation learning, we aggregate edge representations through an attention mechanism within each node's ego-graph. On five public datasets from three different domains, Edgeformers consistently outperform state-of-the-art baselines in edge classification and link prediction, demonstrating the efficacy in learning edge and node representations, respectively.

研究动机与目标

• 为解决现有网络表示学习模型未能有效利用与边相关联的丰富文本信息这一问题。
• 克服以节点为中心的 GNN 和边感知 GNN 的局限性，后者将边特征视为静态向量而非上下文相关的文本。
• 提出一个统一框架，实现在边的表示上，图结构与上下文相关文本表示之间的深度双向交互。
• 在多种真实世界网络中的边级和节点级下游任务上，展示所提方法的优越性。
• 建立一种新的文本边网络表示学习范式，其中边携带语义丰富且上下文相关的文本。

提出的方法

• Edgeformers 引入了 Edgeformer-E，一种经过修改的 BERT 风格 Transformer，其中在每个自注意力层中注入虚拟节点标记，以在边文本编码过程中传播网络结构信息。
• 在 Edgeformer-E 中，每条边的文本通过图增强注意力进行编码，使模型能够动态关注邻近节点，并将结构上下文融入边表示中。
• Edgeformer-N 使用可学习的注意力机制，在每个节点的自我图内聚合边表示，融合文本和结构信号，生成节点级表示。
• 该框架联合训练边分类（以优化边表示）和链接预测（以优化节点表示），实现端到端学习。
• 图信号以逐层方式注入 Transformer 架构，实现文本语义与网络拓扑之间的深度、迭代式交互。
• 该模型利用预训练语言模型（PLMs），如 BERT，并在注意力机制中集成 GNN 风格的消息传递，以保留上下文相关的边语义。

实验结果

研究问题

• RQ1 与传统的以节点为中心的 GNN 相比，联合建模文本边内容与网络结构是否能提升文本边网络中的表示学习？
• RQ2 在文本编码过程中，将图结构注入每个 Transformer 层，对边表示质量有何影响？
• RQ3 融合图信号与文本信号的自我图注意力机制，在多大程度上能提升节点表示学习？
• RQ4 所提出的框架是否在边级和节点级任务上优于 PLM-GNN 串联架构和边感知 GNN？
• RQ5 该模型是否能在社交网络、产品评论和引用网络等多样化领域中实现良好泛化？

主要发现

• Edgeformers 在来自三个不同领域的五个公开数据集上，持续优于当前最先进基线模型，包括以节点为中心的 GNN、边感知 GNN 和 PLM-GNN 串联模型。
• 在边分类任务中，Edgeformers 相比最佳基线模型取得显著提升，例如在 Reddit 数据集上 F1 分数最高提升 5.2%。
• 在链接预测任务中，Edgeformers 的 AUC 和 AUPRC 均高于所有基线模型，证明了其通过自我图注意力机制实现节点表示学习的有效性。
• 消融实验表明，将图信号注入 Transformer 和使用自我图注意力机制均为关键组件，任一模块的移除都会导致平均性能下降超过 4%。
• Edgeformers 具有高效的可扩展性，Edgeformer-N 的时间复杂度随邻居数量线性增长，使其适用于大规模图。
• 该模型在不同领域中表现出强鲁棒性，在社交网络（Reddit）、产品评论网络（Amazon）和引用网络（PubMed、DBLP、OGB）中均展现出一致的性能提升。