[論文レビュー] Universal Prompt Tuning for Graph Neural Networks

Taoran Fang, Yunchao Zhang+3 more|arXiv (Cornell University)|Sep 30, 2022

Advanced Graph Neural Networks被引用数 11

ひとこと要約

本稿では、事前学習済みグラフニューラルネットワークに対して、入力グラフの特徴空間上で直接作用する普遍的プロンプトチューニング手法であるGraph Prompt Feature (GPF) を提案する。この手法は、タスク固有のプロンプト関数を必要とせず、さまざまな事前学習戦略に対しても効果的な適応を可能にする。GPFは、フルショット状況では平均1.4%、フェイシュット状況では3.2%の精度向上を達成し、ファインチューニングを上回り、専用のプロンプト手法ですら、それらが設計された事前学習戦略においてもこれを上回る。

ABSTRACT

In recent years, prompt tuning has sparked a research surge in adapting pre-trained models. Unlike the unified pre-training strategy employed in the language field, the graph field exhibits diverse pre-training strategies, posing challenges in designing appropriate prompt-based tuning methods for graph neural networks. While some pioneering work has devised specialized prompting functions for models that employ edge prediction as their pre-training tasks, these methods are limited to specific pre-trained GNN models and lack broader applicability. In this paper, we introduce a universal prompt-based tuning method called Graph Prompt Feature (GPF) for pre-trained GNN models under any pre-training strategy. GPF operates on the input graph's feature space and can theoretically achieve an equivalent effect to any form of prompting function. Consequently, we no longer need to illustrate the prompting function corresponding to each pre-training strategy explicitly. Instead, we employ GPF to obtain the prompted graph for the downstream task in an adaptive manner. We provide rigorous derivations to demonstrate the universality of GPF and make guarantee of its effectiveness. The experimental results under various pre-training strategies indicate that our method performs better than fine-tuning, with an average improvement of about 1.4% in full-shot scenarios and about 3.2% in few-shot scenarios. Moreover, our method significantly outperforms existing specialized prompt-based tuning methods when applied to models utilizing the pre-training strategy they specialize in. These numerous advantages position our method as a compelling alternative to fine-tuning for downstream adaptations.

研究の動機と目的

• グラフ表現学習における事前学習戦略の多様性により、事前学習済みGNN向けの汎用的プロンプトチューニング手法が不足しているという問題に取り組む。
• エッジ予測や属性マスキングといった特定の事前学習タスクに限定される既存のプロンプトベース手法の限界を克服する。
• 入力特徴空間で任意のプロンプト関数を模倣可能な、統一的かつ理論的裏付けのあるプロンプティングメカニズムを開発する。
• ファインチューニングが壊滅的忘却を引き起こす低データ環境（フェイシュット）における下流性能の向上を図る。
• ファインチューニングの代替として即挿し可能な手法を提供し、事前学習モデルの汎化能力を保持しながら下流タスクに適応させる。

提案手法

• GPFは、入力ノード特徴に学習可能なプロンプト埋め込みを加えることで、モデルパラメータを変更せずに入力グラフを「プロンプト化された」バージョンに変換する。
• この手法は入力特徴空間で動作するため、エッジ予測や属性マスキング、対照的学習などのあらゆる事前学習目的に普遍的に適用可能である。
• プロンプトチューニングは微分可能な最適化問題として定式化され、GNNバックボーンは凍結されたまま、プロンプト埋め込みがエンドツーエンドで最適化される。
• 理論的分析により、GPFが任意の形のプロンプト関数と同等の効果を達成できることを示し、さまざまな事前学習戦略に普遍的に適用可能であることが裏付けられる。
• さらに性能を向上させるために、追加の学習可能な投影を適用するGPF-plusというバリエーションを含む。
• 手法は、下流タスクで標準的なクロスエントロピー損失を用いて訓練され、ハイパーパrameterはデータセットおよび事前学習戦略ごとに最適化される。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークにおいて、多様な事前学習戦略に普遍的に適用可能な単一のプロンプトチューニング手法は可能か？
• RQ2 入力特徴空間でのプロンプトチューニングは、フルショットおよびフェイシュット学習状況において、ファインチューニングを上回る性能を発揮するか？
• RQ3 普遍的プロンプト手法は、それらが設計されたタスクの事前学習戦略においても、専用のプロンプトベース手法を上回るか？
• RQ4 対照的学習や自己教師ありノードレベルタスクを含む、さまざまな事前学習目的において、GPFはどのように性能を発揮するか？
• RQ5 GPFは低データ環境における壊滅的忘却をどの程度軽減するか？

主な発見

• GPFは、あらゆる事前学習戦略において、標準的なファインチューニングを平均1.4%上回る。
• フェイシュット状況では、ファインチューニングを平均3.2%上回るという顕著な一般化性能を示し、データ不足下でも優れた性能を発揮する。
• エッジ予測、属性マスキング、コンテキスト予測で事前学習されたモデルにおいても、GPFは、それらのタスクに特化した既存のプロンプトベース手法を、それらが元々設計された事前学習戦略においても顕著に上回る。
• PPI生物学的グラフ分類ベンチマークでは、Infomax事前学習戦略下でROC-AUCが77.02%に達し、ファインチューニング（71.29%）や他のチューニングベースラインを上回った。
• IMDBグラフ分類タスクでは、GCC (E2E) 事前学習戦略下で、精度を72.60%（ファインチューニング）から73.40%に向上させ、複数回の実行において一貫した向上を示した。
• GPF-plusバリエーションはさらに性能を向上させ、Infomax事前学習下でPPIで77.03%のROC-AUCを達成し、比較対象のすべてのチューニング手法を上回った。