[論文レビュー] GraphText: Graph Reasoning in Text Space

Jianan Zhao, Le Zhuo+6 more|arXiv (Cornell University)|Oct 2, 2023

Topic Modeling被引用数 4

ひとこと要約

GRAPHTEXT は、グラフ構文ツリーを用いたトレイバーサルによりグラフを自然言語プロンプトに変換することで、テキスト空間におけるグラフ推論を可能にする新規フレームワークである。微調整を伴わないトレーニングフリーのグラフ推論を実現し、In-context learningを活用することで、教師ありGNNと同等またはそれを上回る最先端のパフォーマンスを達成する。同時に、自然言語を用いた対話的かつ説明可能なAIと人間の協働を可能にする。

ABSTRACT

Large Language Models (LLMs) have gained the ability to assimilate human knowledge and facilitate natural language interactions with both humans and other LLMs. However, despite their impressive achievements, LLMs have not made significant advancements in the realm of graph machine learning. This limitation arises because graphs encapsulate distinct relational data, making it challenging to transform them into natural language that LLMs understand. In this paper, we bridge this gap with a novel framework, GraphText, that translates graphs into natural language. GraphText derives a graph-syntax tree for each graph that encapsulates both the node attributes and inter-node relationships. Traversal of the tree yields a graph text sequence, which is then processed by an LLM to treat graph tasks as text generation tasks. Notably, GraphText offers multiple advantages. It introduces training-free graph reasoning: even without training on graph data, GraphText with ChatGPT can achieve on par with, or even surpassing, the performance of supervised-trained graph neural networks through in-context learning (ICL). Furthermore, GraphText paves the way for interactive graph reasoning, allowing both humans and LLMs to communicate with the model seamlessly using natural language. These capabilities underscore the vast, yet-to-be-explored potential of LLMs in the domain of graph machine learning.

研究の動機と目的

• 従来、直接的なグラフ推論をサポートしない大規模言語モデル（LLM）とグラフ構造データの間のギャップを埋めること。
• グラフデータに対する微調整なしに、LLMにおけるIn-context learningを活用することで、トレーニングフリーのグラフ推論を実現すること。
• 人間とLLMが自然言語で対話することで、対話的かつ説明可能なグラフ推論を可能にすること。
• 連続特徴とテキスト属性を有する多様なグラフタイプに一般化可能な、統一されたフレームワークを提供すること。

提案手法

• ノード属性（特徴量、ラベル）とノード間の関係（例：センター・ノード、1ステップ目、2ステップ目）を階層的な構造にエンコードしたグラフ構文ツリーを構築する。
• グラフ構文ツリーを深さ優先探索で走査し、自然言語で表現されたグラフを表す順序付きテキストプロンプトを生成する。
• 生成されたグラフプロンプトを事前学習済みLLMに供給し、テキスト生成タスクとしてグラフ推論を実行する。
• In-context learning（ICL）およびインstructチューニング（例：Llama-2 におけるLoRA微調整）をサポートし、LLMをグラフタスクに適応させる。
• 連続的ノード特徴量をLLMの埋め込み空間にマッピングすることで、マルチモodal入力処理を可能にし、生のテキスト属性は離散トークンとして扱う。
• LLMの推論能力を活用して段階的説明と予測を生成し、解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 グラフデータに対する微調整なしに、自然言語空間で効果的なグラフ推論が可能か？
• RQ2 GRAPHTEXTを用いたLLMの性能は、教師ありGNNと比較して、グラフ分類タスクでどのように異なるか？
• RQ3 GRAPHTEXTは、自然言語を用いた人間とLLMの間での対話的推論をサポートできるか？
• RQ4 テキスト属性付きグラフと連続特徴付きグラフを含む、さまざまなグラフタイプに一般化できるか？
• RQ5 入力モodal（生のテキスト vs 連続特徴）が、GRAPHTEXTフレームワーク内でのLLMパフォーマンスに与える影響は何か？

主な発見

• ChatGPTを用いたGRAPHTEXTは、In-context learningを用いてCoraで67.77%、Citeseerで68.98%のノード分類精度を達成し、一部の設定でGNNベースラインを上回った。
• LoRAを用いたLlama-2-7Bへのインstructチューニングにより、Coraで77.53%、Citeseerで73.83%の精度を達成し、より小型なオープンソースモデルでありながらGNN性能に近づいた。
• 閉鎖型LLM（例：ChatGPT）は連続特徴を処理する能力に限界があるため、Coraで10.68%、Citeseerで16.14%の精度にとどまり、処理の限界が顕在化した。
• オープンソースLLM（例：Llama-2-7B）は、連続特徴量の微調整により性能が向上（Coraで87.11%）し、適切に統合された場合、グラフデータに適応可能であることが示された。
• フレームワークは説明可能な推論を可能にした：LLMは段階的な根拠を生成し、例として1ステップ目のラベルが頑健な予測要因であると特定するなど、解釈性を向上させた。
• GRAPHTEXTは、トレーニングフリーのグラフ推論が実現可能かつ有効であることを示し、In-context learningのみで教師ありGNNと同等またはそれを上回るパフォーマンスを達成した。