[論文レビュー] A Survey of Graph Meets Large Language Model: Progress and Future Directions

Yuhan Li, Zhixun Li+5 more|arXiv (Cornell University)|Nov 21, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本調査では、LLMとグラフの統合を3つの役割に分類する新しい分類法を紹介している：LLMを強化要因、予測要因、整合要因としての役割。代表的な手法を体系的にレビューし、効率性、説明可能性、表現力の面での主な課題を特定し、LLMを用いたグラフ学習を進展させるための今後の研究方向性を提示している。

ABSTRACT

Graph plays a significant role in representing and analyzing complex relationships in real-world applications such as citation networks, social networks, and biological data. Recently, Large Language Models (LLMs), which have achieved tremendous success in various domains, have also been leveraged in graph-related tasks to surpass traditional Graph Neural Networks (GNNs) based methods and yield state-of-the-art performance. In this survey, we first present a comprehensive review and analysis of existing methods that integrate LLMs with graphs. First of all, we propose a new taxonomy, which organizes existing methods into three categories based on the role (i.e., enhancer, predictor, and alignment component) played by LLMs in graph-related tasks. Then we systematically survey the representative methods along the three categories of the taxonomy. Finally, we discuss the remaining limitations of existing studies and highlight promising avenues for future research. The relevant papers are summarized and will be consistently updated at: https://github.com/yhLeeee/Awesome-LLMs-in-Graph-tasks.

研究の動機と目的

• 大規模言語モデル（LLMs）とグラフデータを統合する既存の手法を包括的にレビューすること。
• 従来のグラフニューラルネットワーク（GNNs）が意味的・文脈的なノード特徴を捉える能力に限界を示す状況において、LLMsを活用してそれを補完すること。
• LLMの機能的役割に基づく新しい分類法を提唱すること—グラフタスクにおける強化要因、予測要因、整合要因。
• LLM-グラフ統合における主な課題、特に効率性、説明可能性、表現力の面での課題を特定すること。
• 今後の有望な研究方向性を強調すること、特にLLMをエージェントとして再考し、計画能力、記憶機能、ツール使用能力を備えたものとしての応用。

提案手法

• 3カテゴリーの新しい分類法を提案：LLMを強化要因（ノード特徴の向上）、予測要因（GNNヘッドの置き換え）、整合要因（マルチモーダルの統合）としての役割。
• 各カテゴリーに属する代表的手法をレビューし、TAPE（LLM強化型ノード埋め込み）、InstructGLM（指示プロンプトを用いたLLMベースの予測）、MoleculeSTM（クロスモーダル整合）を含む。
• プロンプト工学、微調整（例：LoRA、プレフィックスチューニング）、グラフフラットネーションを用いた、LLMをグラフ構造に適応させる技術を分析。
• GNNとLLMの表現を共通のベクトル空間に統合することで、推論能力と知識の統合を向上させる手法を検討。
• 文脈内学習とチェーン・オブ・トゥークン（CoT）プロンプトを活用し、グラフタスクにおけるモデルの解釈可能性と推論能力を向上させる。
• パラメータ効率的微調整などのアーキテクチャ的・訓練戦略を検討し、大規模グラフ推論における効率性を向上。

実験結果

リサーチクエスチョン

• RQ1 LLMをグラフ関連タスクで果たす機能的役割に基づいて、体系的に分類することは可能か？
• RQ2 LLMとグラフニューラルネットワークを統合する際、GNNを上回る性能を実現するための最も効果的な技術は何か？
• RQ3 自然言語生成を活用することで、LLMはグラフ推論タスクにおける説明可能性をどのように向上させるか？
• RQ4 LLMをグラフデータに適用する際、効率性、スケーラビリティ、表現力の面で顕在する主な制限要因は何か？
• RQ5 LLMを計画能力、記憶機能、ツール使用能力を備えたエージェントとして再考することで、複雑なグラフタスクを解けるようになるか？

主な発見

• 従来のGNNと比較して、LLM統合は、意味的理解が求められる状況において、グラフタスクの性能を顕著に向上させる。
• TAPE や LLM4Mol などの手法は、LLMが生成する意味的記述が初期ノード埋め込みを強化し、下流タスクの精度向上に寄与することを示している。
• InstructGLM は、指示プロンプトとグラフフラットネーションを用いて GNN の予測部を LLM に置き換えることで、SOTA（最先端）の結果を達成し、ゼロショット一般化を可能にしている。
• MoleculeSTM や G-Prompt などのクロスモーダル整合技術は、LLM と GNN の表現を統合することで、分子グラフや知識グラフタスクにおける推論能力の向上を実証している。
• LoRA やプレフィックスチューニングなどのパラメータ効率的微調整手法は、計算コストを低減し、LLM をグラフデータに効率的に適応可能にしている。
• 進展は見られるが、特に大規模グラフでは、APIベースのLLMを用いる際の高い推論コストとハードウェア要件から、モデルの効率性に関する課題が依然として残っている。