[論文レビュー] KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases

Xintao Wang, Qianwen Yang+6 more|arXiv (Cornell University)|Aug 17, 2023

Topic Modeling被引用数 13

ひとこと要約

KnowledGPT は LLMs を知識ベースと結びつけ、知識を取得・格納し、思考過程プロンプティングと個人化された知識ベースを用いて複雑なクエリを改善します。

ABSTRACT

Large language models (LLMs) have demonstrated impressive impact in the field of natural language processing, but they still struggle with several issues regarding, such as completeness, timeliness, faithfulness and adaptability. While recent efforts have focuses on connecting LLMs with external knowledge sources, the integration of knowledge bases (KBs) remains understudied and faces several challenges. In this paper, we introduce KnowledGPT, a comprehensive framework to bridge LLMs with various knowledge bases, facilitating both the retrieval and storage of knowledge. The retrieval process employs the program of thought prompting, which generates search language for KBs in code format with pre-defined functions for KB operations. Besides retrieval, KnowledGPT offers the capability to store knowledge in a personalized KB, catering to individual user demands. With extensive experiments, we show that by integrating LLMs with KBs, KnowledGPT properly answers a broader range of questions requiring world knowledge compared with vanilla LLMs, utilizing both knowledge existing in widely-known KBs and extracted into personalized KBs.

研究の動機と目的

• 完全性、時機性、信頼性、適応性に対処するために、LLMs と外部知識源の橋渡しを促進する。
• 知識ベース(KB)からの知識取得と、ユーザー固有の知識を個人化されたKB(PKB)に格納するための統一フレームワークを導入する。
• コード生成されたKB操作を通じて、マルチホップ検索とエンティティの曖昧性解消を可能にする。
• LLMs の再学習を行わずに、公開KBとPKBを横断したKB統合の実用性と有効性を示す。

提案手法

• 思考過程プロンプティングを用いて、KB へのアクセスと操作を駆動する Python コードを生成する。
• 組み込み関数とKB固有の関数を備えた統一的なKBアクセサインタフェースを提供し、get_entity_info、find_entity_or_value、find_relationship を含む。
• エイリアスと類似度測定を用いて自然言語の言及をKBエンティティにマッピングするエンティティリンキングモジュールを実装する。
• KBごとに生成されたコードを並列実行し、結果を結合してユーザのクエリに回答する。
• ユーザ文書から抽出されたエンティティの説明、三つ組、エンティティ-アスペクト情報を格納する個人化KB(PKB)を導入する。
• 知識を三つの形式（エンティティの説明、関係的三つ組、エンティティ-アスペクト情報）で表現してPKBのカバー範囲を充実させる。

実験結果

リサーチクエスチョン

• RQ1 KnowledGPT は、複雑なマルチホップクエリに対して、標準的な埋め込み検索や BM25 ベースの検索と比較して、知識ベースからの取得をどのように行うか？
• RQ2 多様なKB間で自然言語の言及をKBエンティティに合わせる際のエンティティリンキングと曖昧さ回避プロセスはどれくらい効果的か？
• RQ3 個人化された知識ベースは、ユーザー固有の知識ニーズに対する回答の質とカバレッジを向上させるか？
• RQ4 より豊かな PKB 表現（説明とエンティティ-アスペクト情報）を使用することが、知識抽出と取得性能に与える影響は何か？

主な発見

データセット	BM25	Embedding Similarity	SPE	KnowledGPT
NLPCC-100	0.71	0.31	0.85	0.92
NLPCC-MH-59	0.44	0.19	-	0.93

• KnowledGPT は、ベースの LLM に比べて KB 上の知識ベース型質問応答を改善し、特にマルチホップクエリに対して効果を示す。
• GPT-4 は KnowledGPT 内のコード生成とエンティティリンキングに長けており、中間ステップで ChatGPT より高い成功率を達成している。
• NLPCC-100 および NLPCC-MH-59KBQA のベンチマークで、KnowledGPT は BM25 および埋め込みベースの取得を上回り、ゼロショット設定で SPE 手法を凌駕する。
• エンティティの説明とエンティティ-アスペクト情報を含む個人化KBは、三つ組だけを超える知識抽出のカバレッジを増やし、取得と回答品質を向上させる。
• ケーススタディは、KnowledGPT が作者やタイトルといった質問に対して正しく取得手順を連鎖させて回答できることを示し、コードによる効果的なマルチホップ推論を実証している。