[论文解读] Leveraging Large Language Models for Node Generation in Few-Shot Learning on Text-Attributed Graphs

Jianxiang Yu, Yuxiang Ren+4 more|arXiv (Cornell University)|Oct 15, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出 ENG，一种轻量级、即插即用的范式，利用大型语言模型（LLMs）在少样本学习设置下为文本属性图生成合成节点特征和边。通过提示 LLM 生成语义丰富、与标签相关的样本，并使用边预测器将这些样本整合到图中，ENG 在 1-shot ogbn-arxiv 设置下相比基线模型实现了 76% 的准确率提升。

ABSTRACT

Text-attributed graphs have recently garnered significant attention due to their wide range of applications in web domains. Existing methodologies employ word embedding models for acquiring text representations as node features, which are subsequently fed into Graph Neural Networks (GNNs) for training. Recently, the advent of Large Language Models (LLMs) has introduced their powerful capabilities in information retrieval and text generation, which can greatly enhance the text attributes of graph data. Furthermore, the acquisition and labeling of extensive datasets are both costly and time-consuming endeavors. Consequently, few-shot learning has emerged as a crucial problem in the context of graph learning tasks. In order to tackle this challenge, we propose a lightweight paradigm called LLM4NG, which adopts a plug-and-play approach to empower text-attributed graphs through node generation using LLMs. Specifically, we utilize LLMs to extract semantic information from the labels and generate samples that belong to these categories as exemplars. Subsequently, we employ an edge predictor to capture the structural information inherent in the raw dataset and integrate the newly generated samples into the original graph. This approach harnesses LLMs for enhancing class-level information and seamlessly introduces labeled nodes and edges without modifying the raw dataset, thereby facilitating the node classification task in few-shot scenarios. Extensive experiments demonstrate the outstanding performance of our proposed paradigm, particularly in low-shot scenarios. For instance, in the 1-shot setting of the ogbn-arxiv dataset, LLM4NG achieves a 76% improvement over the baseline model.

研究动机与目标

• 解决在文本属性图上少样本学习设置下的节点分类性能低下问题。
• 通过使用 LLM 生成高质量、语义相关的训练样本，减少对大规模标注数据的依赖。
• 在不修改原始数据集的前提下，保持图结构的同时通过 LLM 生成的节点增强类别级监督。
• 探索提示工程策略，以在样本多样性与与原始数据的相关性之间取得平衡，从而实现模型的最佳泛化性能。

提出的方法

• 通过在类别标签上进行提示，利用 LLM 生成节点特征嵌入，提取语义信息以创建样本实例。
• 训练一个可微的边预测器，以推断生成节点与原始图中现有节点之间的结构关系。
• 将生成的节点和边整合到原始图中，形成用于下游 GNN 训练的增强图。
• 采用即插即用的设计，无需重新训练 GNN 或修改原始图结构。
• 设计多种提示模板（例如 ENG-P1 到 ENG-P6），以探究标签信息和样本多样性对生成质量的影响。
• 使用 LLM 的随机采样方法，评估生成样本在多次运行中的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 在低资源、少样本图学习场景下，如何有效利用 LLM 生成高质量、与类别相关的节点特征？
• RQ2 哪些提示工程策略能够在保持与原始图数据一致性的前提下，最大化 LLM 生成样本的相关性与多样性？
• RQ3 生成样本的数量如何影响模型性能？是否存在数量与性能增益之间的最优平衡点？
• RQ4 LLM 的随机性在多大程度上影响图学习任务中生成样本的可靠性与一致性？

主要发现

• 在 ogbn-arxiv 数据集的 1-shot 设置下，ENG 相比基线 GNN 模型实现了 76% 的准确率提升。
• 随着生成样本数量的增加，性能起初上升，但随后因冗余或低质量样本的增加而趋于平稳。
• LLM 生成的样本表现出强大的泛化能力，尽管生成内容存在差异，但在多次随机运行中性能保持一致。
• 提示设计显著影响性能：突出类别差异的提示（如 ENG-P4）优于通用或过度多样的提示（如 ENG-P5、ENG-P6）。
• 通过边预测器将 LLM 生成的节点和边整合到图中，增强了模型监督，同时不改变原始图结构，从而提升了节点分类性能。
• 该方法在极端低样本设置下依然有效，表明 LLM 可作为图学习中可扩展的合成监督来源。