[論文レビュー] A Survey of Graph Prompting Methods: Techniques, Applications, and Challenges

Xuansheng Wu, Kaixiong Zhou+3 more|arXiv (Cornell University)|Mar 13, 2023

Advanced Graph Neural Networks被引用数 9

ひとこと要約

この調査は、グラフ知識をプロンプトに組み込むグラフベースの prompting 手法をレビューし、離散プロンプトと連続プロンプトを分類し、応用と課題を概説する。

ABSTRACT

The recent "pre-train, prompt, predict training" paradigm has gained popularity as a way to learn generalizable models with limited labeled data. The approach involves using a pre-trained model and a prompting function that applies a template to input samples, adding indicative context and reformulating target tasks as the pre-training task. However, the design of prompts could be a challenging and time-consuming process in complex tasks. The limitation can be addressed by using graph data, as graphs serve as structured knowledge repositories by explicitly modeling the interaction between entities. In this survey, we review prompting methods from the graph perspective, where prompting functions are augmented with graph knowledge. In particular, we introduce the basic concepts of graph prompt learning, organize the existing work of designing graph prompting functions, and describe their applications and future challenges. This survey will bridge the gap between graphs and prompt design to facilitate future methodology development.

研究の動機と目的

• プリトレイン・プロンプト・予測のパラダイム内でグラフプロンプト学習とその動機を導入する。
• グラフ prompting 手法を離散と連続のカテゴリに体系的に整理する。
• グラフ学習、レコメンダシステム、NLPにおけるグラフ prompting の応用を要約する。
• 現在の制約と将来の課題を議論し、方法論の発展を導く。

提案手法

• グラフ内での prompting を x' = f_prompt(x; θ_prompt) と定義し、離散（テキストまたはノードレベル）と連続 prompts に関連付ける。
• 離散グラフ prompting を説明：マニュアル prompting、ノードレベル prompting、トポロジーレベル prompting。
• 連続グラフ prompting を説明：マニュアル prompting、ノードレベル prompting、トポロジーレベル prompting、オントロジー、モチーフ、GNNベース prompting を含む。
• 候補出力とターゲットラベルへのマッピングを類似度や確率で行う回答探索を説明する。
• OntoPrompt、GraphPrompt、LMRecSys、MolCPT、OAG-BERT に触発された事前学習効果など、カテゴリと代表的手法を提示する。

実験結果

リサーチクエスチョン

• RQ1 離散と連続のグラフ prompting の核となる考え方と区別点は何か。
• RQ2 マニュアル、ノードレベル、トポロジーレベルの規模でグラフ prompting はどのように設計されているか。
• RQ3 グラフ学習、NLP、レコメンダシステムにおけるグラフ prompting の主要な応用と利点は何か。
• RQ4 グラフ prompting 研究の制限と未解決の課題は何か。

主な発見

• グラフ prompting は外部グラフ知識を活用して prompting を調整し、広範な前処理タスク設計の必要性を低減する。
• 離散プロンプトはテキストテンプレートや発話されたノード／トポロジ情報を用い、連続プロンプトはプロンプト知識を訓練可能なベクトルに埋め込む。
• トポロジーレベル prompts はオントロジー、モチーフ、サブグラフ構造を活用して prompting を豊かにする。
• 連続 prompting は最小限の訓練可能パラメータでも競争力のある性能を達成できる（例：Graph Prompt Features）。
• 応用領域は同質/異質グラフ、知識抽出、レコメンダシステム、NLP タスクに及ぶ。
• 本調査はギャップを特定し、グラフ prompting の設計と評価における将来の課題を概説する。