[論文レビュー] Talk like a Graph: Encoding Graphs for Large Language Models

Bahare Fatemi, Jonathan Halcrow+1 more|arXiv (Cornell University)|Oct 6, 2023

Topic Modeling被引用数 10

ひとこと要約

本稿は、グラフ構造データをテキストとしてLLMsにエンコードする研究であり、グラフエンコーディング、タスクタイプ、グラフ構造が推論性能に影響を与えることを示し、GraphQAを提案して最善実践の洞察と4.8%から61.8%の性能向上を報告します。

ABSTRACT

Graphs are a powerful tool for representing and analyzing complex relationships in real-world applications such as social networks, recommender systems, and computational finance. Reasoning on graphs is essential for drawing inferences about the relationships between entities in a complex system, and to identify hidden patterns and trends. Despite the remarkable progress in automated reasoning with natural text, reasoning on graphs with large language models (LLMs) remains an understudied problem. In this work, we perform the first comprehensive study of encoding graph-structured data as text for consumption by LLMs. We show that LLM performance on graph reasoning tasks varies on three fundamental levels: (1) the graph encoding method, (2) the nature of the graph task itself, and (3) interestingly, the very structure of the graph considered. These novel results provide valuable insight on strategies for encoding graphs as text. Using these insights we illustrate how the correct choice of encoders can boost performance on graph reasoning tasks inside LLMs by 4.8% to 61.8%, depending on the task.

研究の動機と目的

• 固定（ブラックボックス）LLMsを用いてグラフとしての推論を促進することを動機づけるために、グラフをテキストとしてエンコードする。
• グラフエンコーディングの選択がLLMのグラフ推論性能にどう影響するかを体系的に分析する。
• プロンプト戦略とグラフ構造が推論結果に与える影響を調べる。
• GraphQAを多様なグラフ構造の影響を研究するベンチマークとして導入する。

提案手法

• グラフエンコーディング関数 g(G) と質問再編成関数 q(Q) を定義し、グラフと質問をLLMが消費するテキストトークンへ写像する。
• グラフ推論設定での prompting ヒューリスティック（ゼロショット、フェースショット、チェーンオブソート、ゼロショット CoT、cot-bag）を評価する。
• 複数のグラフエンコーディングを用いて基本的なグラフタスクへの影響を観察する。
• ER、BA、SBM、SFN、星型、経路、完全グラフなど多様なグラフ生成器を用いてグラフ構造の影響を調査する。
• PaLM 2 のXXS、XS、S、Lのモデル容量の効果を比較して評価する。
• GraphQAを導入してLLMの prompting におけるグラフ構造の効果を研究する。

実験結果

リサーチクエスチョン

• RQ1 LLMsのグラフ推論能力に対して、グラフエンコーディング関数 g(G) の選択はどのような影響を及ぼすのか？
• RQ2 異なるグラフ構造のプロンプティングと質問エンコーダは基本的なグラフタスクの性能にどう影響するのか？
• RQ3 グラフ構造はLLM推論に意味のある影響を与えるか、またこれらの効果はモデル容量とどう相互作用するか？
• RQ4 テキストとしてグラフをエンコードしてLLM推論性能を最大化するためのベストプラクティスは何か？
• RQ5 多様なグラフ生成器と few-shot/CoT プロンプトはグラフタスクの推論を改善できるか？

主な発見

方法	エンコーディング	辺の存在	ノードの次数	ノード数	辺の数	連結ノード	サイクル検査
ゼロショット	全体（ μ/δ ）	44.5 / 9.4	14.0/16.0	21.73 / 8.6	12.4 / 4.8	14.7 / 11.0	76.0 / 13.2
ゼロショット	隣接	45.8	12.4	18.8	14.0	19.8	71.6
ゼロショット	インシデント	39.6	25.0	15.6	10.6	53.8	68.8
ゼロショット	共著	44.0	13.8	22.0	11.4	7.6	70.8
ゼロショット	友好	46.6	11.2	23.0	10.2	4.0	82.0
ゼロショット	SP	46.4	9.0	22.4	15.0	6.2	80.4
ゼロショット	GOT	49.0	13.6	22.8	13.2	7.6	79.0
ゼロショット	ソーシャルネットワーク	43.2	16.0	22.8	10.8	8.2	81.2
ゼロショット	政治家	44.6	15.2	24.2	11.6	8.8	81.0
ゼロショット	専門家	41.2	10.0	24.0	14.8	16.4	69.6
ゼロショット	cot	全体（ μ/δ ）	33.5 / 11.6	10.4 / 22.4	14.6 / 9.4	9.4 / 4.8	8.8 / 9.2	32.3 / 23.2
ゼロショット	Ad...)	隣接	34.2	15.4	11.0	12.2	6.0	46.2
ゼロショット	インシデント	41.4	26.6	10.0	12.2	35.2	39.0
ゼロショット	共著	29.8	9.8	15.6	8.2	3.0	28.2
ゼロショット	友好	28.4	7.0	19.4	7.4	3.0	31.2
ゼロショット	SP	32.6	9.2	15.6	8.4	5.0	34.8
ゼロショット	GOT	34.6	8.4	16.2	8.4	5.4	33.4
ゼロショット	ソーシャルネットワーク	30.8	6.6	14.0	9.2	3.8	26.0
ゼロショット	政治家	38.0	4.2	14.6	8.6	3.2	23.0
ゼロショット	専門家	31.6	6.0	14.8	10.0	14.2	28.8
cot	全体（ μ/δ ）	42.8 / 7.0	29.2 / 60.4	27.6 / 42.4	12.8 / 17.4	13.1 / 18.0	58.0 / 16.4
cot	隣接	42.8	71.2	57.0	25.2	22.4	56.6
cot	インシデント	41.6	75.0	57.6	21.4	30.2	62.6
cot	共著	43.2	16.4	15.2	8.8	8.4	54.8
cot	友好	46.6	14.6	23.0	7.8	9.6	61.8
cot	SP	42.6	17.4	17.0	10.6	8.2	59.4
cot	GOT	44.0	17.8	16.2	11.8	7.2	60.4
cot	ソーシャルネットワーク	42.6	16.4	21.6	8.4	8.0	60.6
cot	政治家	42.2	16.6	22.6	9.2	9.4	59.4
cot	専門家	39.6	17.4	18.0	12.4	14.4	46.2
cot-bag	全体（ μ/δ ）	37.3 / 16.6	28.0 / 61.8	26.9 / 33.8	12.5 / 17.8	15.8 / 31.8	52.1 / 26.0
cot-bag	隣接	45.8	66.8	48.6	25.0	20.6	56.8
cot-bag	インシデント	45.6	75.2	51.2	21.8	41.0	63.0
cot-bag	共著	25.0	14.6	17.4	7.2	9.2	37.0
cot-bag	友好	39.0	16.2	21.8	7.4	9.8	52.0
cot-bag	SP	33.6	17.0	21.6	11.4	11.4	52.2
cot-bag	GOT	32.6	15.6	18.0	11.0	10.0	54.6
cot-bag	ソーシャルネットワーク	44.8	13.4	19.6	9.0	10.0	51.2
cot-bag	政治家	40.4	17.6	22.8	8.2	10.2	57.2
cot-bag	専門家	29.2	15.8	20.8	11.6	20.4	45.0

• LLMsは慎重なエンコーディングとプロンプティングなしには基本的なグラフタスクで性能が低い。
• グラフエンコーディング関数はタスクを跨いでLLM推論性能に大きく影響する。
• モデル容量はグラフ推論に大きく影響し、一般に大きいPaLM 2モデルほど良い性能を示す。
• 質問エンコーダの選択（グラフ系 vs. 応用系）はタスクの正確性を意味深く変え、時には大きな利得を生む。
• 複数のリレーションエンコーディングを用いることで、タスクにより好影響を与える場合と悪影響を及ぼす場合がある。サイクル関連のクエリでは改善が見られることも。
• グラフ構造は重要であり、異なるグラフ生成器はタスク間で大きな性能差を生む（例：サイクル検査の正確性はグラフタイプに依存）。
• Few-shotプロンプトとCoTは推論を一般に改善し、分布外のfew-shot例が特定の設定で有効である場合がある。
• 分離ノード推論はLLMsにとって弱く、エンコーダによるグローバルなグラフモデリングの制限を示す。