[论文解读] Graph Prompt Learning: A Comprehensive Survey and Beyond

Xiangguo Sun, Jiawen Zhang+4 more|arXiv (Cornell University)|Nov 28, 2023

Advanced Graph Neural Networks被引用 9

一句话总结

本综述分析了图提示在通用人工智能中的应用，提出了统一框架、方法学分类以及实用工具，如 ProG 和研究网站，以推动图提示的发展。

ABSTRACT

Artificial General Intelligence (AGI) has revolutionized numerous fields, yet its integration with graph data, a cornerstone in our interconnected world, remains nascent. This paper presents a pioneering survey on the emerging domain of graph prompts in AGI, addressing key challenges and opportunities in harnessing graph data for AGI applications. Despite substantial advancements in AGI across natural language processing and computer vision, the application to graph data is relatively underexplored. This survey critically evaluates the current landscape of AGI in handling graph data, highlighting the distinct challenges in cross-modality, cross-domain, and cross-task applications specific to graphs. Our work is the first to propose a unified framework for understanding graph prompt learning, offering clarity on prompt tokens, token structures, and insertion patterns in the graph domain. We delve into the intrinsic properties of graph prompts, exploring their flexibility, expressiveness, and interplay with existing graph models. A comprehensive taxonomy categorizes over 100 works in this field, aligning them with pre-training tasks across node-level, edge-level, and graph-level objectives. Additionally, we present, ProG, a Python library, and an accompanying website, to support and advance research in graph prompting. The survey culminates in a discussion of current challenges and future directions, offering a roadmap for research in graph prompting within AGI. Through this comprehensive analysis, we aim to catalyze further exploration and practical applications of AGI in graph data, underlining its potential to reshape AGI fields and beyond. ProG and the website can be accessed by \url{https://github.com/WxxShirley/Awesome-Graph-Prompt}, and \url{https://github.com/sheldonresearch/ProG}, respectively.

研究动机与目标

• 提供对图提示学习在节点、边、图层任务中的连贯、统一理解。
• 阐明图提示的本质及其在图模型中的作用与互动。
• 描述图提示的设计原则与学习策略。
• 通过工具与生态系统支持将研究转化为实际部署。
• 概述当前挑战与未来图提示研究的方向。

提出的方法

• 提出一个聚焦于提示令牌、令牌结构与插入模式的统一图提示框架。
• 就图提示与图模型的相互作用给出超越简单微调的新视角。
• 提供覆盖超过 100 篇图提示工作、并与预训练任务（节点、边、图、多任务）对齐的全面分类。
• 引入 Python 库 ProG 以支持图提示，并提供一个作为研究仓库的网站。
• 讨论图提示在 AGI 中的潜在应用、挑战与路线图。

实验结果

研究问题

• RQ1 RQ1：如何在基于提示、令牌、结构与插入模式的统一框架下理解现有的图提示工作？
• RQ2 RQ2：图提示的本质是什么，为什么对图模型与 AGI 重要？
• RQ3 RQ3：如何设计图提示，包括其内容、结构、与预训练任务的对齐以及学习方法？
• RQ4 RQ4：如何在拥有可用工具与生态系统的现实应用中部署图提示？
• RQ5 RQ5：当前的挑战与未来图提示研究的方向是什么？

主要发现

• 提出一个统一框架，通过将提示视为令牌、令牌结构和插入模式来分析图提示学习。
• 图提示与图模型的关系不仅限于简单的任务微调，为提示与模型的交互提供了新的见解。
• 提供覆盖超过 100 篇图提示工作的综合分类，将其按节点、边和图层任务在预训练与提示工作流中进行归类。
• 发布 Python 库 ProG 以支持图提示，并附带一个汇聚论文、数据集和代码的网站。
• 综述勾画了图提示在 AGI 领域当前的挑战与未来研究的路线图。