[論文レビュー] Let Your Graph Do the Talking: Encoding Structured Data for LLMs

Bryan Perozzi, Bahare Fatemi+5 more|arXiv (Cornell University)|Feb 8, 2024

Semantic Web and Ontologies被引用数 6

ひとこと要約

GraphToken はグラフエンコーダを学習してグラフをエンコードするソフトプロンプトを生成し、LLMs のグラフ推論タスクで大幅な改善をもたらす。GraphQA では最大で 73 パーセンテージポイントの向上。

ABSTRACT

How can we best encode structured data into sequential form for use in large language models (LLMs)? In this work, we introduce a parameter-efficient method to explicitly represent structured data for LLMs. Our method, GraphToken, learns an encoding function to extend prompts with explicit structured information. Unlike other work which focuses on limited domains (e.g. knowledge graph representation), our work is the first effort focused on the general encoding of structured data to be used for various reasoning tasks. We show that explicitly representing the graph structure allows significant improvements to graph reasoning tasks. Specifically, we see across the board improvements - up to 73% points - on node, edge and, graph-level tasks from the GraphQA benchmark.

研究の動機と目的

• LLMs の推論を改善するために構造化データのエンコーディングを動機づける。
• LLMs の言語能力を維持しつつグラフ構造を組み込むパラメータ効率の良いエンコーダを提案する。
• 明示的なグラフエンコーディングが GraphQA のグラフレベル・ノードレベル・エッジレベルのタスクで性能を向上させることを実証する。
• GraphToken が見たことのないグラフやタスクにも一般化し、LLM に対して相対的に計算的負荷を低く保つことを示す。

提案手法

• GraphToken を導入する：グラフ由来のトークンを LLM プロンプトの前に追加する学習済みグラフプロンプト関数。
• グラフエンコーダ（GNN）を用いて固定長のグラフトークンを生成し、LLM の埋め込み空間と整合させつつ、LLM のパラメータを凍結する。
• augmented プロンプトに対する LLM のパープレキシティを逆伝播させてグラフエンコーダを訓練し、エンコーダのパラメータのみを更新する。
• グラフエンコーダとして複数のエンコーダ（GCN、GIN、MPNN、HGT、MHA、NodeSet、EdgeSet）とグラフレベル・ノードレベル・エッジレベルのタスクに適したリードアウト方式を検討する。
• 最後の密結合層を介してグラフ表現を LLM トークン空間へ射影してから LLM（例：PaLM 2/Flan-tuned）にプロンプトを渡す。
• GraphToken をベースライン（ゼロショット、フルショット、CoT、ゼロコット、cot-袋、ソフトプロンプト）と GraphQA ベンチマークで実 empirically 比較する。

実験結果

リサーチクエスチョン

• RQ1 学習されたグラフエンコーダは、最小限のパラメータ更新で構造化データを LLM 互換のプロンプトへ効果的に変換できるか？
• RQ2 凍結された LLM と組み合わせたとき、どのグラフエンコーダのアーキテクチャとノード特徴がグラフ推論タスクを最も良くサポートするか？
• RQ3 明示的なグラフエンコーディングは、テキストベースやソフトプロンプトのベースラインと比べてグラフ・ノード・エッジレベルの推論タスクをどの程度改善するか？
• RQ4 GraphToken は訓練分布外の見たことのないグラフやタスクにどれだけ一般化できるか？

主な発見

方法	ノード数	エッジ数	循環チェック	三角形カウント	ノード次数	結合ノード	到達可能性	エッジの存在	最短経路
zero-shot	0.217	0.124	0.760	0.015	0.140	0.147	0.849	0.445	0.115
zero-cot	0.146	0.094	0.323	0.127	0.104	0.088	0.735	0.335	0.336
few-shot	0.253	0.120	0.374	0.030	0.174	0.124	0.794	0.368	0.227
cot	0.276	0.128	0.580	0.081	0.292	0.131	0.452	0.428	0.386
cot-bag	0.269	0.125	0.521	0.081	0.280	0.158	0.452	0.373	0.404
soft-prompt	0.056	0.018	0.832	0.162	0.098	0.068	0.838	0.544	0.462
GraphToken	0.996	0.426	0.956	0.348	0.962	0.264	0.932	0.738	0.638

• GraphToken は GraphQATest のグラフ・ノード・エッジレベルのタスクでベースラインを大幅に上回り、最大 73 ポイントの改善を達成。
• 異なるグラフエンコーダはタスク特有の強みを持ち、単一のエンコーダがすべてのタスクを支配するわけではない。
• 学習されたノード特徴量による同変性の崩れは一般に性能を向上させ、学習済み特徴量とスペクトル特徴量の組み合わせは一部のエンコーダでさらなる向上をもたらす。
• GraphToken は LLM のサイズに対して小さなエンコーダ（数万〜数十万パラメータ）を使用しており、最小限のパラメータ更新で強力な向上を達成。
• サイクルチェックや三角形カウントで訓練されたエンコーダは、二部性検出へ一般化することを示し、転移可能なグラフ推論表現を示唆。