[论文解读] GraphFormers: GNN-nested Language Models for Linked Text Representation.

Junhan Yang, Zheng Liu+4 more|arXiv (Cornell University)|May 6, 2021

Topic Modeling参考文献 42被引用 9

一句话总结

GraphFormers 提出了一种新颖的架构，将图神经网络嵌入预训练语言模型的每个 Transformer 层中，通过迭代利用邻域信息来逐步增强文本表示。这种端到端的集成方式提升了关联文本表示的质量，其中单向变体在大规模数据集上实现了高效率，并且性能与更强的基线模型相当。

ABSTRACT

Linked text representation is critical for many intelligent web applications, such as online advertisement and recommender systems. Recent breakthroughs on pretrained language models and graph neural networks facilitate the development of corresponding techniques. However, the existing works mainly rely on cascaded model structures: the texts are independently encoded by language models at first, and the textual embeddings are further aggregated by graph neural networks. We argue that the neighbourhood information is insufficiently utilized within the above process, which restricts the representation quality. In this work, we propose GraphFormers, where graph neural networks are nested alongside each transformer layer of the language models. On top of the above architecture, the linked texts will iteratively extract neighbourhood information for the enhancement of their own semantics. Such an iterative workflow gives rise to more effective utilization of neighbourhood information, which contributes to the representation quality. We further introduce an adaptation called unidirectional GraphFormers, which is much more efficient and comparably effective; and we leverage a pretraining strategy called the neighbourhood-aware masked language modeling to enhance the training effect. We perform extensive experiment studies with three large-scale linked text datasets, whose results verify the effectiveness of our proposed methods.

研究动机与目标

• 为解决级联模型结构在关联文本表示中的局限性，即邻域信息未被充分利用的问题。
• 通过在 Transformer 架构内实现迭代、双向邻域信息提取，提升文本表示的质量。
• 设计一种高效变体——单向 GraphFormers，其在显著降低计算成本的同时保持了强大的性能。
• 开发一种预训练策略——邻域感知掩码语言建模，以增强模型对上下文和结构依赖关系的学习能力。

提出的方法

• GraphFormers 将图神经网络直接集成到语言模型的每个 Transformer 层中，使每个标记能够同时关注其自身上下文以及知识图谱中的邻近节点。
• 该模型在图结构上采用迭代消息传递机制，通过多轮邻域聚合来逐步优化标记表示。
• 提出一种新型预训练目标——邻域感知掩码语言建模，以联合优化掩码标记预测和图结构感知的表示学习。
• 单向 GraphFormers 变体将消息传递限制为单向，从而降低计算量，同时保留了大部分性能增益。
• 该架构支持端到端训练，使文本信息与结构信息联合优化，而非孤立处理。
• 该模型利用增强图结构特征的注意力机制，在表示学习过程中动态加权邻近节点。

实验结果

研究问题

• RQ1 在 Transformer 层中嵌入 GNN 是否能超越级联架构，在关联文本表示方面实现更优表现？
• RQ2 在 Transformer 层内进行迭代邻域信息聚合如何影响表示质量？
• RQ3 在 GraphFormers 中，使用双向与单向消息传递在性能与效率之间存在何种权衡？
• RQ4 邻域感知掩码语言建模在多大程度上提升了下游表示学习的效果？
• RQ5 GraphFormers 在大规模关联文本基准测试中与最先进模型相比表现如何？

主要发现

• GraphFormers 在三个大规模关联文本数据集上达到最先进性能，其表示质量显著优于级联模型。
• 单向 GraphFormers 变体在显著降低计算成本的同时，实现了与完整双向版本相当的性能。
• 邻域感知掩码语言建模的预训练策略显著提升了下游表示学习的效果。
• 在 Transformer 层内进行迭代邻域编码，相比静态或单次聚合，能更有效地利用图结构信息。
• 该模型在多个评估指标上均表现出一致的性能提升，证实了嵌套 GNN-Transformer 架构的有效性。