[論文レビュー] GraphGPT: Graph Instruction Tuning for Large Language Models

Jiabin Tang, Yuhao Yang+6 more|arXiv (Cornell University)|Oct 19, 2023

Advanced Graph Neural Networks被引用数 15

ひとこと要約

GraphGPTは、テキスト-グラフ grounding 手法と二段階の指示チューニングパラダイムにより、大規模言語モデルをグラフ構造と結びつけ、監視付きおよびゼロショットのグラフ学習タスクにおいて強い一般化を達成します。

ABSTRACT

Graph Neural Networks (GNNs) have evolved to understand graph structures through recursive exchanges and aggregations among nodes. To enhance robustness, self-supervised learning (SSL) has become a vital tool for data augmentation. Traditional methods often depend on fine-tuning with task-specific labels, limiting their effectiveness when labeled data is scarce. Our research tackles this by advancing graph model generalization in zero-shot learning environments. Inspired by the success of large language models (LLMs), we aim to create a graph-oriented LLM capable of exceptional generalization across various datasets and tasks without relying on downstream graph data. We introduce the GraphGPT framework, which integrates LLMs with graph structural knowledge through graph instruction tuning. This framework includes a text-graph grounding component to link textual and graph structures and a dual-stage instruction tuning approach with a lightweight graph-text alignment projector. These innovations allow LLMs to comprehend complex graph structures and enhance adaptability across diverse datasets and tasks. Our framework demonstrates superior generalization in both supervised and zero-shot graph learning tasks, surpassing existing benchmarks. The open-sourced model implementation of our GraphGPT is available at https://github.com/HKUDS/GraphGPT.

研究の動機と目的

• ラベル付きデータが不足または利用できないゼロショットの状況において、グラフモデルの一般化を向上させることを目的とする。
• グラフの構造知識と言語モデルを橋渡しして、グラフ上の推論を強化する。
• スケーラビリティを維持しつつ、グラフタスクに合わせてLLMsを調整する二段階の指示チューニングフレームワークを開発する。

提案手法

• グラフ構造のエンコーディングを言語空間と整列させるテキスト-グラフ grounding コンポーネントを導入する。
• グラフエンコーダ（GNNバックボーン）とテキストエンコーダを用いて、整列したグラフ表現とテキスト表現を生成する。
• 自己教師付きグラフマッチングによる構造知識の学習と、下流グラフのためのタスク特有の指示チューニングを組み合わせた二段階のグラフ指示チューニングを提案する。
• LLMやグラフエンコーダを更新せずに、グラフトークンを言語トークンへマッピングする軽量なグラフ-テキスト整列プロジェクターを組み込む。
• 分布シフト下での推論を改善するために、強力なLLM（例: GPT-3.5）からのChain-of-Thought蒸留を任意で適用する。

実験結果

リサーチクエスチョン

• RQ1 従来手法と比較した場合、監視付きおよびゼロショットのグラフ学習設定におけるGraphGPTの性能はどうか？
• RQ2 破壊的な忘却なしに、複数のグラフタスクに対するGraphGPTの一般化能力はどの程度か？
• RQ3 コアコンポーネント（テキスト-グラフ grounding、二段階指示チューニング、CoT蒸留）が性能と一般化にどのように寄与するか？
• RQ4 データセットやタスクを横断したとき、GraphGPTフレームワークのスケーラビリティと効率性はどの程度か？

主な発見

• GraphGPTは、評価対象のデータセット全体において、監視付きおよびゼロショットのノード分類の両方で最先端のベースラインを一貫して上回る。
• 自己監督ステージの構造認識型グラフマッチングは、ゼロショットの転移性を高める。
• Chain-of-Thought蒸留は、強力なLLMの知識を活用して複雑なタスクの性能を改善する。
• 軽量プロジェクターを備えた二段階の指示チューニングを使用することで、LLMを更新せずにグラフトークンと言語トークンの整列を実現する。
• より多様な指示データを含めると、未知のグラフへのデータセット間転移が改善される。