[論文レビュー] One for All: Towards Training One Graph Model for All Classification Tasks
本稿では、微調整を伴わずに、多様なグラフタスク（ノード、リンク、グラフレベル）におけるゼロショット、フェイントショット、および教師あり分類を実行できる、最初の統合的グラフ基盤モデルであるOne for All (OFA) を提案する。OFA はテキスト付加グラフと共有言語モデルを用いてクロスドメインのグラフデータを統合し、共同表現学習を実現する。また、注目ノード（nodes-of-interest）と新しいグラフプロンプティングパラダイムを用いてタスク一般化を実現し、学術的ネットワーク、分子グラフ、知識グラフ、および電子商取引ネットワークにおいて強力なゼロショット性能を達成する。
Designing a single model to address multiple tasks has been a long-standing objective in artificial intelligence. Recently, large language models have demonstrated exceptional capability in solving different tasks within the language domain. However, a unified model for various graph tasks remains underexplored, primarily due to the challenges unique to the graph learning domain. First, graph data from different areas carry distinct attributes and follow different distributions. Such discrepancy makes it hard to represent graphs in a single representation space. Second, tasks on graphs diversify into node, link, and graph tasks, requiring distinct embedding strategies. Finally, an appropriate graph prompting paradigm for in-context learning is unclear. We propose extbf{One for All (OFA)}, the first general framework that can use a single graph model to address the above challenges. Specifically, OFA proposes text-attributed graphs to unify different graph data by describing nodes and edges with natural language and uses language models to encode the diverse and possibly cross-domain text attributes to feature vectors in the same embedding space. Furthermore, OFA introduces the concept of nodes-of-interest to standardize different tasks with a single task representation. For in-context learning on graphs, OFA introduces a novel graph prompting paradigm that appends prompting substructures to the input graph, which enables it to address varied tasks without fine-tuning. We train the OFA model using graph data from multiple domains (including citation networks, molecular graphs, knowledge graphs, etc.) simultaneously and evaluate its ability in supervised, few-shot, and zero-shot learning scenarios. OFA performs well across different tasks, making it the first general-purpose across-domains classification model on graphs.
研究の動機と目的
- ノード、リンク、グラフレベルの多様なグラフタスクおよび分野（例：学術的、分子的、知識グラフ）に一般化可能な単一のグラフモデルを開発すること。
- 自然言語記述を用いて、分野ごとの異種グラフ特徴分布を統一された埋め込み空間に統合することで、異種グラフ特徴分布の課題を克服すること。
- タスク固有の微調整を伴わず、コンテキスト内学習を可能にするために、タスク固有のサブ構造を備えた汎用的グラフプロンプティングパラダイムを設計すること。
- 注目ノードと共有タスク表現を用いて、異なるグラフタスクを1つのフレームワークに統合すること。
提案手法
- 自然言語でノードおよびエッジを記述するテキスト付加グラフ（TAGs）を提案し、単一の大規模言語モデルを介してクロスドメイン特徴埋め込みを実現する。
- 異なるグラフ学習タスク間でのタスク表現を標準化するために、関連するサブ構造を特定・注目する注目ノード（NOI）を導入する。
- タスク固有のサブグラフ（プロンプトノード）を入力グラフに付加するグラフプロンプティングパラダイム（GPP）を設計し、タスク記述を直接グラフ構造に埋め込む。
- 統一された目的関数を用いて、複数のドメイン（例：Cora, PubMed, HIV, FB15K237）の複数のグラフデータセットからなる一貫した学習を、1つのOFAモデルで実施する。
- 大規模言語モデルを用いて、ノード、エッジ、タスクのテキスト記述を共有埋め込み空間にエンコードし、クロスドメイン一般化を可能にする。
- 分類のため、NOI埋め込みの平均プーリングを実施し、最終的な表現にタスク記述を連結する。
実験結果
リサーチクエスチョン
- RQ1タスク固有の微調整を伴わず、多様なグラフタスクおよび分野（例：学術的、分子的、知識グラフ）においてゼロショットおよびフェイントショット分類を実行できる単一のグラフモデルを訓練可能か？
- RQ2学術的、分子的、知識グラフなどの異なる分野からの異種グラフデータを、どのように1つの表現空間に統合できるか？
- RQ3複数のタスクタイプに適応可能な効果的で汎用的なグラフプロンプティングメカニズムは何か？ これは、グラフにおけるコンテキスト内学習を可能にする。
- RQ4複数のタスクタイプおよび分野で同時に学習させることで、タスク固有の微調整に比べ、一般化性能が向上するか？
- RQ5提案された構成要素（テキスト付加グラフ、注目ノード、グラフプロンプティング）が、ゼロショットおよびフェイントショット性能にどのように寄与しているか？
主な発見
- OFA は、学術的ネットワーク、分子グラフ、知識グラフ、および電子商取引ネットワークを含む多様なグラフタスクで強力なゼロショット性能を達成した。ノードレベル（Cora: 48.72% 正解率）、リンクレベル（FB15K237: 63.99% AUC）、グラフレベル（HIV: 35.67% AUC）のタスクで顕著な結果を示した。
- 全タスクおよび全分野で同時学習（OFA-joint-lr）は、Cora および HIV でタスク固有の学習（OFA-ind-lr）を上回った。これは、知識の転送による恩恵を示している。
- NOIサブグラフを用いたグラフプロンプティングパラダイムは、同時学習下でも性能を維持した。一方、'-Class node' などの代替手法は、タスクの混同により顕著な性能低下を示した。
- PCBA データセットでは、同時学習がゼロショット性能（60.62% AUC）を向上させたが、フェイントショット性能は低下した。これは、同時学習におけるタスクの不均衡を示唆している。
- アブレーションスタディの結果、グラフプロンプティング機構は、マルチドメイン同時学習中における性能維持に不可欠であることが確認された。これは、タスク固有の信号を明確に分離するからである。
- テキスト付加グラフの使用により、効果的なクロスドメイン表現学習が可能となった。異なる分野（例：分子の原子と電子商取引アイテム）からのLLM埋め込みテキスト特徴が、共有空間にうまく一致した。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。