[論文レビュー] Large Language Models on Graphs: A Comprehensive Survey

Bowen Jin, Gang Liu+4 more|arXiv (Cornell University)|Dec 5, 2023

Topic Modeling被引用数 8

ひとこと要約

LLMs（大規模言語モデル）をグラフデータに適用する方法の系統的調査。グラフシナリオとLLMの役割を分類し、技術、応用、データセット、今後の方向性を整理する。

ABSTRACT

Large language models (LLMs), such as GPT4 and LLaMA, are creating significant advancements in natural language processing, due to their strong text encoding/decoding ability and newly found emergent capability (e.g., reasoning). While LLMs are mainly designed to process pure texts, there are many real-world scenarios where text data is associated with rich structure information in the form of graphs (e.g., academic networks, and e-commerce networks) or scenarios where graph data is paired with rich textual information (e.g., molecules with descriptions). Besides, although LLMs have shown their pure text-based reasoning ability, it is underexplored whether such ability can be generalized to graphs (i.e., graph-based reasoning). In this paper, we provide a systematic review of scenarios and techniques related to large language models on graphs. We first summarize potential scenarios of adopting LLMs on graphs into three categories, namely pure graphs, text-attributed graphs, and text-paired graphs. We then discuss detailed techniques for utilizing LLMs on graphs, including LLM as Predictor, LLM as Encoder, and LLM as Aligner, and compare the advantages and disadvantages of different schools of models. Furthermore, we discuss the real-world applications of such methods and summarize open-source codes and benchmark datasets. Finally, we conclude with potential future research directions in this fast-growing field. The related source can be found at https://github.com/PeterGriffinJin/Awesome-Language-Model-on-Graphs.

研究の動機と目的

• LLMアプリケーションのためのグラフシナリオを純粋なグラフ、テキスト属性付きグラフ、テキストペアグラフに分類する。
• LLMをグラフに適用する技術を系統的にレビューする（LLM as Predictor、LLM as Encoder、LLM as Alignerを含む）。
• トレーニング/推論フレームワーク、データセット、オープンソースコード、実世界の応用を要約する。
• この急成長する分野の制約、課題、そして6つの今後の研究方向を議論する。

提案手法

• LLMsが適用できるグラフシナリオを分類する：純粋なグラフ、テキスト属性付きグラフ、テキストペアグラフ。
• LLM-on-graph技術を役割別に分類する：LLM as Predictor、LLM as Encoder、LLM as Aligner、入力形式とトレーニング体制のサブカテゴリーを含む。
• 代表的モデルの詳細な図解を提供し、モデルの系統間の長所と短所を比較する。
• オープンソースコードベース、ベンチマークデータセット、実世界の応用を要約する。
• グラフ上のLLMsのエンドツーエンドのトレーニングと推論フレームワークを概説する。

実験結果

リサーチクエスチョン

• RQ1 LLMsを効果的に適用できる主要なグラフシナリオは何か（純粋なグラフ、テキスト属性付きグラフ、テキストペアグラフ）？
• RQ2 LLMsはグラフタスクでどのような役割を果たし得るか（predictor、encoder、aligner）そしてこれらの役割はGNNsとどう相互作用するか？
• RQ3 異なるシナリオを横断してLLMsをグラフデータへ適用する際の主要な技術と実務的考慮事項は何か？
• RQ4 現在存在するデータセット、コードベース、アプリケーションは何で、今後の方向性で最も有望な方向は何か？

主な発見

• グラフ上のLLMsは、グラフシナリオとLLMの役割（predictor、encoder、aligner）によって分類できる。
• グラフ構造とテキストを統合するための幅広い技術が存在する。例として、Graph as Sequence、Graph-Empowered LLMs、Graph-Aware Finetuning、およびさまざまなalignment戦略がある。
• データセット、コードベース、ドメイン特化タスクを含む多様な実世界の応用とオープンソース資源が存在する。
• 本調査は基本原理と、将来の研究を指針づける6つの候補方向を特定する。