[论文解读] Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning

Xiaoxin He, Xavier Bresson+4 more|arXiv (Cornell University)|May 31, 2023

Topic Modeling被引用 16

一句话总结

本文介绍 TAPE，一个与 LMaaS 兼容的框架，它使用 LLMs 为带文本属性的图上的文本属性生成预测和解释，随后一个微调后的 LM 解释器将这些解释转化为用于下游 GNN 的丰富节点特征，从而在训练更快的同时达到 SOTA 结果。

ABSTRACT

Representation learning on text-attributed graphs (TAGs) has become a critical research problem in recent years. A typical example of a TAG is a paper citation graph, where the text of each paper serves as node attributes. Initial graph neural network (GNN) pipelines handled these text attributes by transforming them into shallow or hand-crafted features, such as skip-gram or bag-of-words features. Recent efforts have focused on enhancing these pipelines with language models (LMs), which typically demand intricate designs and substantial computational resources. With the advent of powerful large language models (LLMs) such as GPT or Llama2, which demonstrate an ability to reason and to utilize general knowledge, there is a growing need for techniques which combine the textual modelling abilities of LLMs with the structural learning capabilities of GNNs. Hence, in this work, we focus on leveraging LLMs to capture textual information as features, which can be used to boost GNN performance on downstream tasks. A key innovation is our use of explanations as features: we prompt an LLM to perform zero-shot classification, request textual explanations for its decision-making process, and design an LLM-to-LM interpreter to translate these explanations into informative features for downstream GNNs. Our experiments demonstrate that our method achieves state-of-the-art results on well-established TAG datasets, including Cora, PubMed, ogbn-arxiv, as well as our newly introduced dataset, tape-arxiv23. Furthermore, our method significantly speeds up training, achieving a 2.88 times improvement over the closest baseline on ogbn-arxiv. Lastly, we believe the versatility of the proposed method extends beyond TAGs and holds the potential to enhance other tasks involving graph-text data. Our codes and datasets are available at: https://github.com/XiaoxinHe/TAPE.

研究动机与目标

• 通过将 LLM 推理与 GNN 相结合以充分利用丰富的文本信息，激发改进的 TAG 表征学习。
• 提出一个模块化的 LMaaS 兼容管道，使用 LLM 解释作为下游模型的特征。
• 在 TAG 基准上展示最先进的性能，并展示相较于以往的 LM-GNN 方法的训练效率提升。
• 提供开源数据集和代码以支持可重复的 TAG 研究。

提出的方法

• 以基于提示的、LMaaS 兼容的方式查询 LLMs，以获取每个节点文本（标题和摘要）的排序预测及文本解释。
• 对较小的 LM 进行微调，作为 LLM 解释的解释器，从原始文本和解释中生成丰富的定长节点特征。
• 提取前 k 个 LLM 预测并将它们转换为每个节点的预测特征向量。
• 通过对原始特征、解释特征和预测特征训练的模型的预测结果求平均，以集成方式在增广特征上训练 GNN。

实验结果

研究问题

• RQ1 由 LLM 生成的解释能否作为有信息量的特征来改进带文本属性的图表示？
• RQ2 一个 LM-to-LM 解释器是否能够有效将 LLM 解释转换为用于 GNN 的辨别性节点嵌入？
• RQ3 所提出的 LMaaS 兼容管道在准确性和训练时间上与现有的基于 LM 的和基于 GNN 的 TAG 方法相比如何？
• RQ4 在标准 TAG 数据集上，包含排序预测和解释对下游节点分类的影响是什么？

主要发现

• TAPE 框架在 Cora、PubMed、ogbn-arxiv 和 tape-arxiv23 TAG 数据集上实现了最先进的节点分类性能。
• 将解释作为特征相较于浅层特征和之前的基于 LM 的特征带来可衡量的提升。
• 通过使 LM 和 GNN 的训练解耦，该方法能带来显著的训练时间加速（例如在 ogbn-arxiv 上比 GLEM 基线快 2.88×）。
• 基于 orig、expl 和 pred 特征的 GNN 的集合融合在性能上持续优于各自的单一组件。
• 一个新的 tape-arxiv23 数据集在超出 LLM 知识截断（GPT-3.5）时也展现出强健的泛化能力。