[論文レビュー] Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT

Jiawei Zhang|arXiv (Cornell University)|Apr 10, 2023

Advanced Graph Neural Networks被引用数 12

ひとこと要約

本論文は Graph-ToolFormer を提案し、事前学習済みの LLM にグラフ推論を行わせる枠組みで、ChatGPT が外部グラフツールへの API 呼び出しをプロンプトに組み込み、基本から高度なグラフタスクの推論を可能にする。GPT-J や LLaMA などのモデルを、専門的なグラフ推論プロンプトデータセットを用いてファインチューニングする。

ABSTRACT

In this paper, we aim to develop a large language model (LLM) with the reasoning ability on complex graph data. Currently, LLMs have achieved very impressive performance on various natural language learning tasks, extensions of which have also been applied to study the vision tasks with multi-modal data. However, when it comes to the graph learning tasks, existing LLMs present very serious flaws due to their several inherited weaknesses in performing {multi-step logic reasoning}, {precise mathematical calculation} and {perception about the spatial and temporal factors}. To address such challenges, in this paper, we will investigate the principles, methodologies and algorithms to empower existing LLMs with graph reasoning ability, which will have tremendous impacts on the current research of both LLMs and graph learning. Inspired by the latest ChatGPT and Toolformer models, we propose the Graph-ToolFormer (Graph Reasoning oriented Toolformer) framework to teach LLMs themselves with prompts augmented by ChatGPT to use external graph reasoning API tools. Specifically, we will investigate to teach Graph-ToolFormer to handle various graph data reasoning tasks in this paper, including both (1) very basic graph data loading and graph property reasoning tasks, ranging from simple graph order and size to the graph diameter and periphery, and (2) more advanced reasoning tasks on real-world graph data, such as bibliographic networks, protein molecules, sequential recommender systems, social networks and knowledge graphs.

研究の動機と目的

• さまざまな分野で、LLM が正確なグラフ推論を実行できるよう動機づけ、可能にする。
• 外部のグラフ推論ツールを活用して、グラフ学習と最新のLLMおよびAIGCを橋渡しする。
• プロンプトデータセットを作成し、どのグラフツールをいつ使用するかを決定するようLLMsをファインチューニングする。
• 基本的なグラフ特性と実世界のグラフデータセットの両方で有効性を示す。

提案手法

• グラフ推論タスクのための手作業で作成した指示とプロンプトテンプレート。
• ChatGPT を用いて、API 呼び出しを含む大規模なグラフ推論プロンプトデータセットを注釈付け・拡張する。
• 拡張プロンプトを LoRA および量子化技術を用いて、事前学習済みの因果的LLMsをファインチューニングする。
• 出力文中でネスト化および逐次的なツール使用を可能にする、専門的なトークンで API 呼び出しを表現する。
• API 呼び出しの解析・実行・後処理を実装して最終回答を生成する。
• データ・プロンプト・コードを含む公開の GitHub リポジトリを提供する。

Figure 1. An Illustration of LLMs based Graph Reasoning Tasks. Based on the input graph data from various domains and a handful number of prompt examples with brief instructions, we propose to use ChatGPT to annotate and augment a large prompt dataset that contains graph reasoning API calls of exter

実験結果

リサーチクエスチョン

• RQ1 拡張プロンプトを介して外部のグラフ推論ツールを使用するよう、LLMをどのように誘導できるか。
• RQ2 このフレームワークは、基本的な特性からドメイン固有のタスクまで、どのようなグラフ推論タスクを効果的に支援できるか。
• RQ3 ChatGPT 強化プロンプトでのファインチューニングが、LLM のグラフ推論精度とツール使用の意思決定にどう影響するか。
• RQ4 このフレームワークは、文献関係ネットワーク、分子グラフ、知識グラフなどの実世界グラフデータに拡張可能か。

主な発見

• Graph-ToolFormer は、LLM がグラフ推論 API 呼び出しを生成文に組み込むことを可能にする。
• このアプローチは、基本的なグラフのロードや性質の計算だけでなく、複数のドメインにまたがる高度なタスクもサポートする。
• 実世界のグラフデータセットとタスクを用いた実験研究が実施され、フレームワークの有効性を示している。
• グラフ推論機能を備えたLLMデモが、コードとデータセットとともに公開されている。

Figure 2. The Outline of the Graph-ToolFormer Framework. The framework has three main parts: (1) prompt data annotation and augmentation with ChatGPT, (2) existing pre-trained causal LLMs fine-tuning with the generated prompt dataset, and (3) inference of the fine-tuned model for adding graph reason