[論文レビュー] Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph

Jiashuo Sun, Chengjin Xu+7 more|arXiv (Cornell University)|Jul 15, 2023

Topic Modeling被引用数 52

ひとこと要約

Think-on-Graph (ToG) を提案する、LLM⊗KG 推論フレームワーク。LLMがエージェントとしてビーム探索を介して知識グラフを反復的に探索し、深い推論・追跡性・柔軟性をトレーニング不要で向上させる。

ABSTRACT

Although large language models (LLMs) have achieved significant success in various tasks, they often struggle with hallucination problems, especially in scenarios requiring deep and responsible reasoning. These issues could be partially addressed by introducing external knowledge graphs (KG) in LLM reasoning. In this paper, we propose a new LLM-KG integrating paradigm ``$\hbox{LLM}\otimes\hbox{KG}$'' which treats the LLM as an agent to interactively explore related entities and relations on KGs and perform reasoning based on the retrieved knowledge. We further implement this paradigm by introducing a new approach called Think-on-Graph (ToG), in which the LLM agent iteratively executes beam search on KG, discovers the most promising reasoning paths, and returns the most likely reasoning results. We use a number of well-designed experiments to examine and illustrate the following advantages of ToG: 1) compared with LLMs, ToG has better deep reasoning power; 2) ToG has the ability of knowledge traceability and knowledge correctability by leveraging LLMs reasoning and expert feedback; 3) ToG provides a flexible plug-and-play framework for different LLMs, KGs and prompting strategies without any additional training cost; 4) the performance of ToG with small LLM models could exceed large LLM such as GPT-4 in certain scenarios and this reduces the cost of LLM deployment and application. As a training-free method with lower computational cost and better generality, ToG achieves overall SOTA in 6 out of 9 datasets where most previous SOTAs rely on additional training.

研究の動機と目的

• 外部知識グラフの統合を動機づけ、LLMの幻覚と深い推論の制限に対応する。
• 緊密結合のLLM⊗KGパラダイムをインタラクティブなKG推論のために提案する。
• Think-on-Graph ToG を開発し、ビーム探索を介してKGパスを反復的に探索し、説明と追跡可能な推論パスを生成する。
• 小さめのLLMを含む複数のデータセットとバックボーンに対するToGの有効性を示す。

提案手法

• LLMがエージェントとしてKGのトリプルを探索し、取得した知識について推論するというLLM⊗KGパラダイムを導入する。
• Think-on-Graph (ToG) を三段階で実装する：初期化、探索（ビーム探索による関係とエンティティの剪定）、推論。
• ビーム探索を用いて上位Nの推論パスを維持し、確信できる回答が得られるまで深さ方向に反復的に拡張する。
• 関係系列に焦点を当て、計算を削減するためにランダム剪定を用いる関係ベースのバリアント（ToG-R）を提供する。
• トレーニング不要な動作と、LLMパラメータを更新せずにさまざまなLLMやKGとプラグアンドプレイで互換性があることを示す。

実験結果

リサーチクエスチョン

• RQ1 ToGは prompting ベースのベースラインと比較して、KG根拠付き質問に対する深い多段推論を改善できるか？
• RQ2 ToGは知識の追跡性と訂正機構を提供し、幻覚を減らすか？
• RQ3 ToGは異なるバックボーンLLMと知識グラフでどのように性能を発揮するか？
• RQ4 ToGは大規模LLM中心のアプローチよりコスト効果が高く、性能を維持または向上できるか？
• RQ5 プロンプト設計、KGタイプ、剪定戦略がToGの性能に与える影響は？

主な発見

• GPT-4を用いたToGは9データセットのうち7データセットで新たなSOTAを達成し、評価対象の全データセットで promptingベースラインを上回る。
• ToGはKGから多様な推論パスを抽出することで深く多段推論を可能にする。
• ToGは明示的な推論パスと出典追跡を通じて知識の追跡性と正確性を提供する。
• ToGのプラグアンドプレイ設計はLLMs（ChatGPT、GPT-4、LLaMA-2）とKGs（Freebase、Wikidata）でさまざまな利得を持って機能する。
• より小さなLLM（例：LLaMA-2-70B）とToGはKGQAシナリオで一部の大規模LLMを上回ることがあり、コスト面で利点を提供する。
• トレーニング不要の prompting を用いたToGは、トレーニング要件を削減しつつ、トレーニングベースのSOTAに対して競争力のある性能を発揮する。