[論文レビュー] Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning

Linhao Luo, Yuan-Fang Li+2 more|arXiv (Cornell University)|Oct 2, 2023

Topic Modeling被引用数 38

ひとこと要約

RoGは知識グラフとLLMsを計画-検索-推論フレームワークで統合し、忠実で解釈可能なKG推論と最先端のKGQA性能を実現します。KG知識をLLMsに蒸留し、推論を導くためにKGパスを取得します。

ABSTRACT

Large language models (LLMs) have demonstrated impressive reasoning abilities in complex tasks. However, they lack up-to-date knowledge and experience hallucinations during reasoning, which can lead to incorrect reasoning processes and diminish their performance and trustworthiness. Knowledge graphs (KGs), which capture vast amounts of facts in a structured format, offer a reliable source of knowledge for reasoning. Nevertheless, existing KG-based LLM reasoning methods only treat KGs as factual knowledge bases and overlook the importance of their structural information for reasoning. In this paper, we propose a novel method called reasoning on graphs (RoG) that synergizes LLMs with KGs to enable faithful and interpretable reasoning. Specifically, we present a planning-retrieval-reasoning framework, where RoG first generates relation paths grounded by KGs as faithful plans. These plans are then used to retrieve valid reasoning paths from the KGs for LLMs to conduct faithful reasoning. Furthermore, RoG not only distills knowledge from KGs to improve the reasoning ability of LLMs through training but also allows seamless integration with any arbitrary LLMs during inference. Extensive experiments on two benchmark KGQA datasets demonstrate that RoG achieves state-of-the-art performance on KG reasoning tasks and generates faithful and interpretable reasoning results.

研究の動機と目的

• 構造化されたKG知識を活用してLLMsに忠実な推論を促進する。
• LLMの計画をKG構造に根ざしたものにする計画-取得-推論フレームワークを提案する。
• KG知識をLLMsに蒸留し、推論時に任意のLLMと統合できるようにする。
• ベンチマークデータセットで最先端のKGQA性能と解釈可能な推論を実証する。

提案手法

• KG根拠の関係パスを忠実な計画プロンプトとしてLLMに生成する。
• 計画された関係パスに沿ってKGから推論パスを取得する。
• 取得されたパスに基づいて推論モジュールを用いて質問に答え、解釈可能な説明を提供する。
• 2つの指示微調整タスク（計画最適化と取得-推論最適化）で最適化する。
• 質問と取得されたパスを与えたときに正解の確率を最大化する目的関数を定式化する（ELBOベース）。
• 推論時に任意のLLMとのプラグアンドプレイ統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 RoGはKGQAタスクで最先端の性能を達成できるか？
• RQ2 RoGの計画モジュールを他のLLMと統合して性能を向上させることができるか？
• RQ3 RoGを他の知識グラフへ微調整・転移できるか？
• RQ4 RoGは忠実な推論と解釈可能な結果を提供できるか？

主な発見

タイプ	方法	Hits@1 (WebQSP)	F1 (WebQSP)	Hits@1 (CWQ)	F1 (CWQ)
Embedding	KV-Mem	46.7	34.5	18.4	15.7
Embedding	EmbedKGQA	66.6	-	45.9	-
Embedding	NSM	68.7	62.8	47.6	42.4
Embedding	TransferNet	71.4	-	48.6	-
Embedding	KGT5	56.1	-	36.5	-
Retrieval	GraftNet	66.4	60.4	36.8	32.7
Retrieval	PullNet	68.1	-	45.9	-
Retrieval	SR+NSM	68.9	64.1	50.2	47.1
Retrieval	SR+NSM+E2E	69.5	64.1	49.3	46.3
Semantic Parsing	SPARQL	-	-	31.6	-
Semantic Parsing	QGG	73.0	73.8	36.9	37.4
Semantic Parsing	ArcaneQA	-	75.3	-	-
Semantic Parsing	RnG-KBQA	-	76.2	-	-
LLMs	Flan-T5-xl	31.0	-	14.7	-
LLMs	Alpaca-7B	51.8	-	27.4	-
LLMs	LLaMA2-Chat-7B	64.4	-	34.6	-
LLMs+KGs	KD-CoT	68.6	52.5	55.7	-
LLMs+KGs	UniKGQA	77.2	72.2	51.2	49.1
LLMs+KGs	DECAF (DPR+FiD-3B)	82.1	78.8	-	-
RoG	RoG	85.7	70.8	62.6	56.2

• RoGはWebQSPとCWQ KGQAベンチマークで最先端の性能を達成。
• RoGの計画をさまざまなLLMと統合することで推論精度が大幅に向上。
• RoGは別のKG（MetaQA-3hop）への転移性を示し、効果的な微調整戦略を通じて転移可能。
• RoGは忠実な推論パスと解釈可能な説明を提供し、ベースラインと比較して幻覚を低減。
• アブレーション研究は、計画モジュールと推論モジュールが性能向上に不可欠であることを示す。