[論文レビュー] GraphLLM: Boosting Graph Reasoning Ability of Large Language Model

Ziwei Chai, Tianjie Zhang+5 more|arXiv (Cornell University)|Oct 9, 2023

Topic Modeling被引用数 5

ひとこと要約

GraphLLM は、グラフニューラルネットワークと大規模言語モデル（LLM）を統合するエンドツーエンドのフレームワークを提案し、グラフ推論能力を顕著に向上させる。従来の Graph2Text 変換の代わりに、固定長のグラフ埋め込みプレフィックスを用いることで、4つのグラフ推論タスクにおいて平均で54.44%の精度向上と96.45%のコンテキスト長の短縮を達成するとともに、推論速度を3.42倍に高速化する。

ABSTRACT

The advancement of Large Language Models (LLMs) has remarkably pushed the boundaries towards artificial general intelligence (AGI), with their exceptional ability on understanding diverse types of information, including but not limited to images and audio. Despite this progress, a critical gap remains in empowering LLMs to proficiently understand and reason on graph data. Recent studies underscore LLMs' underwhelming performance on fundamental graph reasoning tasks. In this paper, we endeavor to unearth the obstacles that impede LLMs in graph reasoning, pinpointing the common practice of converting graphs into natural language descriptions (Graph2Text) as a fundamental bottleneck. To overcome this impediment, we introduce GraphLLM, a pioneering end-to-end approach that synergistically integrates graph learning models with LLMs. This synergy equips LLMs with the ability to proficiently interpret and reason on graph data, harnessing the superior expressive power of graph learning models. Our empirical evaluations across four fundamental graph reasoning tasks validate the effectiveness of GraphLLM. The results exhibit a substantial average accuracy enhancement of 54.44%, alongside a noteworthy context reduction of 96.45% across various graph reasoning tasks.

研究の動機と目的

• LLM が他のモodal では成功を収めているにもかかわらず、基本的なグラフ推論タスクでは性能が低いという問題に取り組む。
• コンテキスト長と構造的曖昧性の両方の要因により、Graph2Text 変換が LLM を用いたグラフ推論における主要なボトルネックであることを同定する。
• LLM とグラフ学習モデルを効果的に統合するエンドツーエンド手法を構築し、優れたグラフ推論を実現する。
• 推論効率を向上させながらコンテキスト長を短縮し、推論精度を維持または向上させる。
• 提案手法の有効性を多様なグラフ推論ベンチマークで示す。

提案手法

• GraphLLM は、Graph2Text を置き換え、入力グラフをグラフトランスフォーマーで固定長のプレフィックス埋め込みに符号化する。
• プレフィックス埋め込みは、指示プロンプトと連結され、LLM に供給され、長大なテキスト記述を回避する。
• 統一的でエンドツーエンドのトレーニング戦略を採用し、下流タスクのためのグラフエンコーダーと LLM を同時に最適化する。
• プレフィックスチューニングと LoRA ファインチューニングを用いて、コンactなグラフ表現を用いて LLM をグラフ推論タスクに適応させる。
• グラフトランスフォーマーは、ノード特徴量とエッジ接続を処理し、LLM 推論前に表現力のある構造的表現を生成する。
• 最小限のコンテキストオーバーヘッドでゼロショットおよびフェイシングプロンプティングをサポートし、より大きなグラフへのスケーラビリティを実現する。

Figure 1: Demonstration of Graph2Text vs. GraphLLM . The LLM is tasked with computing the minimum quantity of dark matter necessary to transition from the starting wormhole to the ending wormhole, given the connectivity graph and the textual descriptions of each node.

実験結果

リサーチクエスチョン

• RQ1 LLM が他のドメインでは優れた一般化性能を示すにもかかわらず、なぜグラフ推論タスクでは性能が低いのか？
• RQ2 Graph2Text 変換戦略が、LLM のグラフ構造推論能力にどの程度制限を及えるのか？
• RQ3 グラフニューラルネットワークと LLM をエンドツーエンドに統合することで、グラフ推論の精度と効率を顕著に向上させられるか？
• RQ4 グラフサイズが増加するに徴して、GraphLLM のコンテキスト長と推論速度は Graph2Text ベースのベースラインと比べてどうなるか？
• RQ5 標準的な LLM のコンテキスト窓を超えても、提案手法が高精度を維持できるか？

主な発見

• GraphLLM は、Graph2Text ベースのベースラインと比較して、4つのグラフ推論タスクで平均で54.44%の精度向上を達成した。
• Graph2Text と比較して平均コンテキスト長を96.45%短縮し、コンテキスト長は0.04–0.055Kトークンにまで低下した。
• GraphLLM は最大45ノードのグラフでも高い性能を維持できるが、Graph2Text ベースの手法はコンテキスト制限に達した時点で機能不全に陥るか、精度が0%に低下する。
• 追加のグラフエンコーダー計算があるにもかかわらず、最良の Graph2Text ベース手法と比較して推論速度が3.42倍に向上した。
• 45ノードのグラフにおける部分構造数え上げタスクで96.45%の精度を達成し、gpt-3.5-turbo-16k はコンテキストオーバーフローにより失敗した。
• GraphLLM は、ロバストネスとスケーラビリティを示し、標準的な LLM のコンテキスト窓を超えても効果的である。

Figure 2: An illustration of reasoning on a toy molecular graph with GraphLLM. The LLM is requested to identify the number of C-C-O triangles in the molecule.