[论文解读] GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph

Junhan Yang, Zheng Liu+7 more|arXiv (Cornell University)|May 6, 2021

Advanced Graph Neural Networks被引用 51

一句话总结

GraphFormers 将 GNN 与 transformer 块在嵌套架构中融合，在联合编码文本和图结构，采用两阶段渐进学习策略，在大型文本图基准上实现最先进的结果，且效率相当。

ABSTRACT

The representation learning on textual graph is to generate low-dimensional embeddings for the nodes based on the individual textual features and the neighbourhood information. Recent breakthroughs on pretrained language models and graph neural networks push forward the development of corresponding techniques. The existing works mainly rely on the cascaded model architecture: the textual features of nodes are independently encoded by language models at first; the textual embeddings are aggregated by graph neural networks afterwards. However, the above architecture is limited due to the independent modeling of textual features. In this work, we propose GraphFormers, where layerwise GNN components are nested alongside the transformer blocks of language models. With the proposed architecture, the text encoding and the graph aggregation are fused into an iterative workflow, {making} each node's semantic accurately comprehended from the global perspective. In addition, a {progressive} learning strategy is introduced, where the model is successively trained on manipulated data and original data to reinforce its capability of integrating information on graph. Extensive evaluations are conducted on three large-scale benchmark datasets, where GraphFormers outperform the SOTA baselines with comparable running efficiency.

研究动机与目标

• 通过联合建模节点文本和邻域结构来促进文本图的准确表征。
• 提出一种 GNN-nested Transformer 架构，迭代地融合文本编码与图聚合。
• 引入两阶段渐进学习制度，以加强来自图结构的信息整合。
• 证明在可比效率下，GraphFormers 超越最先进的级联 Transformer-GNN 基线。

提出的方法

• 将 GNN 组件与 Transformer 块并置嵌套，以在迭代工作流中融合文本编码和图聚合。
• 使用带多头注意力的逐层 GNN 以生成跨邻居聚合的节点级消息。
• 在 Transformer 中采用不对称的多头注意力，以实现中心到邻居的参考，同时实现邻居编码的缓存。
• 通过在每一层将邻居信息丰富的节点嵌入与令牌嵌入拼接，引入图增强的标记嵌入。
• 采用两阶段渐进学习目标进行训练：先在污染输入上以强制使用图信息，然后在原始数据上进行目标分布的训练。
• 可选地使用单向图聚合来缓存邻居编码并减少计算。

实验结果

研究问题

• RQ1 如何将基于 GNN 的邻域信息直接集成到基于 Transformer 的文本编码器中，以用于文本图？
• RQ2 相较于先文本后图聚合的级联模型，嵌套的 GNN-Transformer 架构是否能提升节点表征质量？
• RQ3 渐进的两阶段训练策略是否能够在保持效率的同时提升模型利用图信息的能力？
• RQ4 单向图聚合对性能和计算成本的影响是什么？

主要发现

• GraphFormers 在三个大型文本图数据集（Product、DBLP、Wiki）上持续超越最先进的级联 Transformer-GNN 基线。
• 在三个数据集上分别相对于最强基线显示出相对提升为 2.9%、4.8% 和 6.5%。
• 保持与级联方法相当的效率，随着邻居规模增加，GraphFormers 的时间和内存成本仍接近 PLM+Max 基线。
• 与直接在原始数据上训练相比，两阶段渐进学习在关键指标上显著提升约 1%–2% 的表示质量。
• 单向图聚合变体在保持性能的同时，通过大量缓存减少重复邻居编码。
• 消融研究显示渐进学习的必要性，以及位置偏置和共享 GNN 对性能的贡献有限。