[論文レビュー] Graph Prompt Learning: A Comprehensive Survey and Beyond

Xiangguo Sun, Jiawen Zhang+4 more|arXiv (Cornell University)|Nov 28, 2023

Advanced Graph Neural Networks被引用数 9

ひとこと要約

この調査はAGIのためのグラフプロンプトを分析し、統一フレームワーク、手法の分類、ProGや研究サイトなどの実践ツールを提案して、グラフプロンプティングを前進させる。

ABSTRACT

Artificial General Intelligence (AGI) has revolutionized numerous fields, yet its integration with graph data, a cornerstone in our interconnected world, remains nascent. This paper presents a pioneering survey on the emerging domain of graph prompts in AGI, addressing key challenges and opportunities in harnessing graph data for AGI applications. Despite substantial advancements in AGI across natural language processing and computer vision, the application to graph data is relatively underexplored. This survey critically evaluates the current landscape of AGI in handling graph data, highlighting the distinct challenges in cross-modality, cross-domain, and cross-task applications specific to graphs. Our work is the first to propose a unified framework for understanding graph prompt learning, offering clarity on prompt tokens, token structures, and insertion patterns in the graph domain. We delve into the intrinsic properties of graph prompts, exploring their flexibility, expressiveness, and interplay with existing graph models. A comprehensive taxonomy categorizes over 100 works in this field, aligning them with pre-training tasks across node-level, edge-level, and graph-level objectives. Additionally, we present, ProG, a Python library, and an accompanying website, to support and advance research in graph prompting. The survey culminates in a discussion of current challenges and future directions, offering a roadmap for research in graph prompting within AGI. Through this comprehensive analysis, we aim to catalyze further exploration and practical applications of AGI in graph data, underlining its potential to reshape AGI fields and beyond. ProG and the website can be accessed by \url{https://github.com/WxxShirley/Awesome-Graph-Prompt}, and \url{https://github.com/sheldonresearch/ProG}, respectively.

研究の動機と目的

• ノード・エッジ・グラフレベルのタスク全体におけるグラフプロンプト学習の結束した統一理解を提供する。
• グラフプロンプトの性質と役割、グラフモデルとの相互作用を明確にする。
• グラフプロンプトの設計原理と学習戦略を説明する。
• ツールとエコシステム支援を通じて研究と実運用の橋渡しを行う。
• グラフプロンプティング研究の現状の課題と今後の方向性を概説する。

提案手法

• グラフプロンプトの統一フレームワークを提案し、プロンプトトークン、トークン構造、挿入パターンに焦点を当てる。
• 単純なファインチューニングを超えたグラフプロンプトとグラフモデルの相互作用について新しい視点を提供する。
• プリトレーニングタスク（ノード・エッジ・グラフ・マルチタスク）に沿った100件以上のグラフプロンプト研究を包含する総合分類を提示する。
• PythonライブラリProGを導入してグラフプロンプティングを支援し、研究リポジトリとしてウェブサイトを提供する。
• グラフプロンプティングをAGIにおいて実用化する際の適用例、課題、ロードマップを論じる。

実験結果

リサーチクエスチョン

• RQ1 RQ1: プロンプト、トークン、構造、挿入パターンに基づく統一フレームワークで既存のグラフプロンプト研究をどう理解するか？
• RQ2 RQ2: グラフプロンプトの性質は何で、なぜグラフモデルとAGIにとって重要なのか？
• RQ3 RQ3: 内容、構造、プリトレーニングタスクとの整合性、学習方法を含むグラフプロンプトをどう設計するか？
• RQ4 RQ4: 実際のアプリケーションで使えるツールとエコシステムを備えたグラフプロンプトをどう展開するか？
• RQ5 RQ5: グラフプロンプティングの現状の課題と今後の方向性は何か？

主な発見

• 統一フレームワークを提案し、プロンプトをトークン、トークン構造、挿入パターンとして捉えることでグラフプロンプト学習を分析する。
• グラフプロンプトとグラフモデルは単なるタスクファインチューニングを超えて相互作用する新しい洞察を提供する。
• プリトレーニングとプロンプティングのワークフロー内で、ノード・エッジ・グラフレベルのタスクを分類する100件以上のグラフプロンプト研究の総合分類を提供する。
• グラフプロンプティングをサポートするPythonライブラリProGを公開し、論文・データセット・コードを集約するウェブサイトを提供する。
• 本調査はAGIのグラフプロンプティングに関する現状の課題と今後の研究ロードマップを概説する。