[論文レビュー] MultiGPrompt for Multi-Task Pre-Training and Prompting on Graphs

Xingtong Yu, Chang Zhou+2 more|arXiv (Cornell University)|Nov 28, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、複数の事前学習タスクを専用の事前学習トークンと、合成プロンプトとオープンプロンプトを組み合わせたデュアルプロンプト機構を用いて包括的に統合する、グラフニューラルネットワーク向けのマルチタスク事前学習およびプロンプトフレームワークであるMultiGPromptを提案する。本手法は、マルチタスク事前学習から多様で包括的な知識を効果的に転移することで、6つの公開ベンチマークにおいて少サンプルグラフ学習で最先端の性能を達成する。

ABSTRACT

Graphs can inherently model interconnected objects on the Web, thereby facilitating a series of Web applications, such as web analyzing and content recommendation. Recently, Graph Neural Networks (GNNs) have emerged as a mainstream technique for graph representation learning. However, their efficacy within an end-to-end supervised framework is significantly tied to the availabilityof task-specific labels. To mitigate labeling costs and enhance robustness in few-shot settings, pre-training on self-supervised tasks has emerged as a promising method, while prompting has been proposed to further narrow the objective gap between pretext and downstream tasks. Although there has been some initial exploration of prompt-based learning on graphs, they primarily leverage a single pretext task, resulting in a limited subset of general knowledge that could be learned from the pre-training data. Hence, in this paper, we propose MultiGPrompt, a novel multi-task pre-training and prompting framework to exploit multiple pretext tasks for more comprehensive pre-trained knowledge. First, in pre-training, we design a set of pretext tokens to synergize multiple pretext tasks. Second, we propose a dual-prompt mechanism consisting of composed and open prompts to leverage task-specific and global pre-training knowledge, to guide downstream tasks in few-shot settings. Finally, we conduct extensive experiments on six public datasets to evaluate and analyze MultiGPrompt.

研究の動機と目的

• グラフ表現学習における単一事前学習タスクの限界、すなわち一般化可能な知識の幅が制限されることに対処する。
• ノード／エッジ特徴量の再構成、リンク予測、サブグラフレベルのパターン学習などの、多様な事前学習タスクを、事前学習段階で協調的に活用する手法を開発する。
• タスク固有の合成プロンプトと、すべての事前学習タスクにわたるグローバルなタスク間知識を捉えるオープンプロンプトを組み合わせたデュアルプロンプト機構を設計し、少サンプル適応を向上させる。
• 低リソース（少サンプル）のダウンストリームグラフ学習シナリオにおけるパラメータ効率性とロバスト性を向上させる。

提案手法

• 複数の自己教師付き事前学習タスクと共同で最適化可能な学習可能である事前学習トークンのセットを導入し、グラフ上で協調的なマルチタスク事前学習を可能にする。
• デュアルプロンプト機構を採用：タスク固有の合成プロンプトと、すべての事前学習タスクにわたるグローバルなタスク間知識を捉えるオープンプロンプト。
• 学習可能なアテンションメカニズムを用い、メッセージパッシング層全体にわたり、異なる事前学習トークンとプロンプトの影響を学習可能な重みαによって動的にバランスさせる。
• 複数の事前学習タスク（例：ノード特徴量再構成、リンク予測、サブグラフマスキング）を同時に最適化するマルチタスク対照学習目的関数を適用する。
• 事前学習済みGNN重みを保持したまま、プロンプトパラメータのみを微調整する軽量なプロンプトベースの適応戦略を設計する。
• メッセージパッシング層を備えたグラフエンコーダーを採用し、入力および出力表現の両方がデュアルプロンプト機構によってダウンストリームの目的に一致するようにガイドされる。

実験結果

リサーチクエスチョン

• RQ1 多様な事前学習タスクを用いたマルチタスク事前学習は、単一タスク事前学習と比較して、グラフニューラルネットワークの一般化能力を顕著に向上させるか？
• RQ2 少サンプルグラフ学習におけるプロンプトベースフレームワークにおいて、タスク固有の知識とグローバルなタスク間知識を効果的に統合する方法は何か？
• RQ3 デュアルプロンプト機構（合成＋オープン）は、単一プロンプトまたはプロンプトフリーのベースラインをどの程度上回るか？
• RQ4 層ごとのプロンプト重みを制御するハイパーパrameterが、さまざまな種類のダウンストリームタスクにおける性能にどのように影響を与えるか？

主な発見

• MultiGPromptは、ノード分類およびグラフ分類の両タスクにおいて6つの公開グラフデータセットで最先端の性能を達成し、少サンプル設定でも既存のSOTA手法を上回る。
• 合成プロンプトとオープンプロンプトを組み合わせたデュアルプロンプト機構が最高の性能をもたらし、アブレーションスタディでは、いずれのコンponentを削除しても精度が低下することが示された。
• オープンプロンプトコンponentは、グローバルなタスク間知識を転送するために不可欠であり、その欠如は完全なデュアルプロンプト構成と比較して顕著な性能低下を引き起こす。
• ハイパーパrameter分析から、ノード分類タスクとグラフ分類タスクで最適なα値が異なることが判明し、入力層（α₀）と出力層（α₁）のプロンプト重みはタスクに応じて個別にチューニングする必要があることが示された。
• MultiGPromptは高いパラメータ効率性を維持しており、ダウンストリーム適応段階でわずか522のチューナブルパラメータを有する。これは、フル微調整や標準的な分類器適応と比較して顕著に少ない。
• 本手法は、限られたラベル付きデータが利用可能な少サンプルシナリオにおいて、デュアルプロンプト機構を通じてマルチタスク事前学習からの知識転送を効果的に行うことで、ロバスト性を示した。