[論文レビュー] GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks

Zemin Liu, Xingtong Yu+2 more|arXiv (Cornell University)|Feb 16, 2023

Advanced Graph Neural Networks被引用数 15

ひとこと要約

GraphPrompt はグラフの事前学習と下流タスクをサブグラフの類似性と学習可能なプロンプトによって統合し、単一の事前学習モデルで少数ショットノードおよびグラフ分類を可能にする。

ABSTRACT

Graphs can model complex relationships between objects, enabling a myriad of Web applications such as online page/article classification and social recommendation. While graph neural networks(GNNs) have emerged as a powerful tool for graph representation learning, in an end-to-end supervised setting, their performance heavily rely on a large amount of task-specific supervision. To reduce labeling requirement, the "pre-train, fine-tune" and "pre-train, prompt" paradigms have become increasingly common. In particular, prompting is a popular alternative to fine-tuning in natural language processing, which is designed to narrow the gap between pre-training and downstream objectives in a task-specific manner. However, existing study of prompting on graphs is still limited, lacking a universal treatment to appeal to different downstream tasks. In this paper, we propose GraphPrompt, a novel pre-training and prompting framework on graphs. GraphPrompt not only unifies pre-training and downstream tasks into a common task template, but also employs a learnable prompt to assist a downstream task in locating the most relevant knowledge from the pre-train model in a task-specific manner. Finally, we conduct extensive experiments on five public datasets to evaluate and analyze GraphPrompt.

研究の動機と目的

• グラフの事前学習と下流タスクのギャップを統一フレームワークの提案によって埋める。
• サブグラフの類似性を活用して、ノードレベルおよびグラフレベルの問題のために事前学習と下流タスクを統一する。
• ReadOut を導くためのタスク特化の学習可能なプロンプトを導入し、タスク適応的な知識伝達を可能にする。
• 少数ショット学習シナリオで複数のデータセットに対する有効性を示す。

提案手法

• 事前学習と下流タスクの両方をサブグラフ類似性学習として表現する共通テンプレートを定義する。
• ノードレベルのインスタンスを表す文脈サブグラフと、グラフレベルのインスタンスには最大サブグラフを用いる。
• 文脈サブグラフ類似性に基づくリンク予測目的で事前学習する。
• 各下流タスクの ReadOut 操作を導くための学習可能なプロンプトベクターを導入する。
• 下流プロンプティング時には GNN を凍結し、タスク特化のプロンプトのみを最適化する。
• 損失におけるコサイン類似度と温度パラメータを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 統一されたサブグラフ類似性テンプレートは、グラフ上での事前学習と複数の下流タスク（ノード分類とグラフ分類）の双方をサポートできるか。
• RQ2 タスク特化の学習可能なプロンプトは、ReadOut を導くことで下流の性能を改善し、少数ショット設定で事前学習済みの知識を活用するか。
• RQ3 少数ショット設定の下で、ノード分類およびグラフ分類における多様なデータセットで GraphPrompt はどのように性能を発揮するか。

主な発見

• GraphPrompt は事前学習と下流タスクが共通のサブグラフ類似テンプレートを共有する統一フレームワークを提供する。
• 学習可能なプロンプトが ReadOut を導き、異なる下流タスクに応じた集約を適応させる。
• 事前学習は文脈サブグラフ類似性に基づく自己教師付きリンク予測目的を用いる。
• 下流学習は凍結された GNN 重みでのプロンプト調整を用い、パラメータとデータ要件を削減する。
• 5つの公開データセットの実験は、少数ショット設定においてノードおよびグラフ分類タスクでベースラインより優れた性能をGraphPromptが示すことを示した。