[論文レビュー] GPT4Graph: Can Large Language Models Understand Graph Structured Data ? An Empirical Evaluation and Benchmarking

Jiayan Guo, Lun Du+4 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 14

ひとこと要約

この論文は、LLMsをグラフ構造データと組み合わせる枠組みを構築し、十個のタスクにわたるグラフ理解のベンチマークを導入し、LLMsは専門のグラフモデルと比較してグラフデータを扱う能力が限定的ながら改善可能であることを示す。

ABSTRACT

Large language models~(LLM) like ChatGPT have become indispensable to artificial general intelligence~(AGI), demonstrating excellent performance in various natural language processing tasks. In the real world, graph data is ubiquitous and an essential part of AGI and prevails in domains like social network analysis, bioinformatics and recommender systems. The training corpus of large language models often includes some algorithmic components, which allows them to achieve certain effects on some graph data-related problems. However, there is still little research on their performance on a broader range of graph-structured data. In this study, we conduct an extensive investigation to assess the proficiency of LLMs in comprehending graph data, employing a diverse range of structural and semantic-related tasks. Our analysis encompasses 10 distinct tasks that evaluate the LLMs' capabilities in graph understanding. Through our study, we not only uncover the current limitations of language models in comprehending graph structures and performing associated reasoning tasks but also emphasize the necessity for further advancements and novel approaches to enhance their graph processing capabilities. Our findings contribute valuable insights towards bridging the gap between language models and graph understanding, paving the way for more effective graph mining and knowledge extraction.

研究の動機と目的

• 大規模言語モデル（LLM）がグラフ構造データをどれだけ理解し、推論できるかを動機づけ、評価する。
• グラフをグラフ記述言語（GDL）に変換し、プロンプティング手法を用いてLLMにグラフ上の推論を可能にする枠組みを提案する。
• 構造と意味論を網羅する十のグラフ関連タスクにわたるベンチマークを確立し、LLMとグラフ指向モデルを比較する。

提案手法

• グラフをグラフ記述言語（GDL）に変換し、グラフデータとクエリを挿入するプロンプトハンドラを用いる、LLMによるグラフ理解フレームワークを導入する。
• 文脈要約、形式説明、役割プロンプティングを含む、グラフ理解を改善するためのマニュアル prompting および自己 prompting 戦略を探る。
• 性能への影響を調べるため、ワンショット・ゼロショット・cotバリエーションを含むさまざまなプロンプト設計と入力順を評価する。
• 構造タスク（サイズ、次数、エッジ、直径、クラスタリング、属性抽出）と意味タスク（KGQA、GQL生成、ノード/グラフ分類）にフレームワークを適用する。
• 実験の主要LMとしてInstructGPT-3 (text-davinci-003) を温度0.3で使用する。

実験結果

リサーチクエスチョン

• RQ1 グラフ記述言語（GDL）で記述されたグラフの場合、LLMsはグラフ構造データを理解し、推論できるか？
• RQ2 プロンプト設計、役割プロンプティング、ワンショット対ゼロショット、入力順がグラフタスクにおけるLLMの性能にどう影響するか？
• RQ3 構造のみのタスク（例：直径、中心性）と意味タスク（KGQA、GQL生成、ノード/グラフ分類）をグラフ上でLLMsはどの程度実行できるか？
• RQ4 共通のグラフタスクベンチマークにおいて、LLMsは専門のグラフモデルとどのように比較されるか？

主な発見

• 入力設計はグラフタスクにおけるLLMの性能に大きく影響する。
• 役割プロンプティングは、構造理解タスクの性能を一般的に向上させる。
• 例は場合によっては有利だがノイズを招くこともあり、ゼロショットは特定のグラフタスクで例を多く含むプロンプトよりも優れることがある。
• グラフ入力の前に外部知識を置くと、後ろに置くよりも良い結果を得やすい。
• グラフ強化プロンプトを用いた一部の意味タスクでLLMsは競争力のある結果を出すが、ほとんどのベンチマークでは最先端のグラフモデルが依然として上回る。
• 自己拡張（形式説明と近傍要約）はグラフタスクやグラフ分類タスクを改善できる。