[論文レビュー] Plan-on-Graph: Self-Correcting Adaptive Planning of Large Language Model on Knowledge Graphs

Liyi Chen, Panrong Tong+4 more|arXiv (Cornell University)|Oct 31, 2024

Topic Modeling被引用数 5

ひとこと要約

Plan-on-Graph (PoG) は、KG補強された LLM が Guidance、Memory、Reflection を通じて知識グラフを適応的に探索し、推論経路を自己修正することで KGQA の精度と効率を向上させます。

ABSTRACT

Large Language Models (LLMs) have shown remarkable reasoning capabilities on complex tasks, but they still suffer from out-of-date knowledge, hallucinations, and opaque decision-making. In contrast, Knowledge Graphs (KGs) can provide explicit and editable knowledge for LLMs to alleviate these issues. Existing paradigm of KG-augmented LLM manually predefines the breadth of exploration space and requires flawless navigation in KGs. However, this paradigm cannot adaptively explore reasoning paths in KGs based on the question semantics and self-correct erroneous reasoning paths, resulting in a bottleneck in efficiency and effect. To address these limitations, we propose a novel self-correcting adaptive planning paradigm for KG-augmented LLM named Plan-on-Graph (PoG), which first decomposes the question into several sub-objectives and then repeats the process of adaptively exploring reasoning paths, updating memory, and reflecting on the need to self-correct erroneous reasoning paths until arriving at the answer. Specifically, three important mechanisms of Guidance, Memory, and Reflection are designed to work together, to guarantee the adaptive breadth of self-correcting planning for graph reasoning. Finally, extensive experiments on three real-world datasets demonstrate the effectiveness and efficiency of PoG.

研究の動機と目的

• 明示的な KG 知識を活用して、LLM における時事性の欠如、幻視、そして不透明な意思決定に対処する動機づけ。
• 質問の意味論に基づいて知識グラフの推論経路を探索する自己修正型の適応計画パラダイムを開発する。
• 質問をサブ目標に分解して適応的探索を導き、必要に応じてバックトラックを可能にする。
• サブグラフ、推論経路、およびサブ目標の状態を保存する Memory モジュールを導入し、洞察に基づく振り返りを可能にする。
• 探索経路を自己修正すべき時と方法を決定する Reflection メカニズムを組み込む。

提案手法

• LLM を用いて、条件を含むサブ目標へ質問を分解する。
• 質問とサブ目標に導かれた関係とエンティティの探索を通じて推論経路を拡張し、適応的な経路探索を行う。
• 各探索反復の後で、サブグラフ、推論経路、およびサブ目標の状態を Memory に更新する。
• Memory に基づいて情報の十分性を判断し、バックトラックするか探索を拡張するかを決定するために Reflection ステップを使用する。
• 必要に応じて、自己修正探索のための新しい候補エンティティを追加するためにバックトラックする。
• CWQ、WebQSP、GrailQA における SOTA KG補強 LLM ベースラインと比較してアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 自己修正と適応計画は、マルチホップの KGQA タスクにおける KG 補強型 LLM の推論をどのように改善できるか？
• RQ2 Guidance、Memory、Reflection は固定幅の知識探索と比較して、精度と効率を総合的に改善するか？
• RQ3 PoG は実世界の KGQA データセット CWQ、WebQSP、GrailQA において、強力なベースラインと比較してどのようにパフォーマンスを発揮するか？
• RQ4 Guidance、Memory、Reflection、および Adaptive Breadth のアブレーションがパフォーマンスに与える影響はどの程度か？

主な発見

• PoG は CWQ、WebQSP、GrailQA のすべてで、最先端ベースラインと比較して最良の性能を達成する。
• GPT-4 を使用すると、PoG は3つのデータセットすべてで微調整済みの KG-補強 LLM ベースラインを上回る。
• PoG だ GPT-3.5 を用いた場合も多くのベースラインを上回り、GrailQA のゼロショット部分で特に優れる。
• アブレーション結果は、各コンポーネント（Guidance、Memory、Reflection）と適応的幅が性能向上に寄与することを示している。
• PoG は評価データセット上で ToG と比較して平均 LLM 呼び出し回数を少なくとも 40.8% 削減し、総トークン使用量と実行時間を低減する。
• PoG の Memory と Reflection は効果的な自己修正を可能にし、難解な質問に対する頑健性を向上させる。