[論文レビュー] keqing: knowledge-based question answering is a nature chain-of-thought mentor of LLM

Chaojie Wang, Yishi Xu+6 more|arXiv (Cornell University)|Dec 31, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文では、構造化された知識グラフの推論経路を自然な思考の連鎖（CoT）メンターとして用い、大規模言語モデル（LLMs）が複雑な質問を段階的に解くのを支援する知識ベースの質問応答フレームワーク「Keqing」を提案する。質問をテンプレートを用いて部分質問に分解し、関連する知識グラフの三項対を取得し、候補となるエンティティに対して推論することで、回答の信頼性と解釈可能性を著しく向上させ、MetaQA（1ホップで98.4 Hits@1、3ホップで99.6）およびWebQSP（74.9 F1）で最先端の性能を達成した。

ABSTRACT

Large language models (LLMs) have exhibited remarkable performance on various natural language processing (NLP) tasks, especially for question answering. However, in the face of problems beyond the scope of knowledge, these LLMs tend to talk nonsense with a straight face, where the potential solution could be incorporating an Information Retrieval (IR) module and generating response based on these retrieved knowledge. In this paper, we present a novel framework to assist LLMs, such as ChatGPT, to retrieve question-related structured information on the knowledge graph, and demonstrate that Knowledge-based question answering (Keqing) could be a nature Chain-of-Thought (CoT) mentor to guide the LLM to sequentially find the answer entities of a complex question through interpretable logical chains. Specifically, the workflow of Keqing will execute decomposing a complex question according to predefined templates, retrieving candidate entities on knowledge graph, reasoning answers of sub-questions, and finally generating response with reasoning paths, which greatly improves the reliability of LLM's response. The experimental results on KBQA datasets show that Keqing can achieve competitive performance and illustrate the logic of answering each question.

研究の動機と目的

• 知識グラフからの事実的知識に応じて応答を根拠づけることで、LLMsによる質問応答における幻覚現象を是正すること。
• 複雑な質問応答タスクにおけるLLMsが生成する回答の信頼性と解釈可能性を向上させること。
• 知識ベースの質問応答が、LLMsにとって自然な思考の連鎖メンターとして機能できるかを検証すること。
• 事前に収集された知識グラフの推論経路を用いて、論理的推論経路に沿ってLLMsを効果的に導くスケーラブルで自動化されたフレームワークを開発すること。
• KBQAベンチマークにおいて、既存のリtrieval増強型およびテキストto-SQLベースのLLM手法を上回ること。

提案手法

• 定義済みの自然言語テンプレートを用いて複雑な質問を部分質問に分解し、LLMsが論理的分解を学習しやすくする。
• 部分質問に基づいて知識グラフから関連する三項対を取得する知識取得モジュールを採用し、高品質で事実に基づいた文脈を保証する。
• 部分質問間の依存関係を活用して、反復的に正しいエンティティを選択する候補推論モジュールを用いる。
• 明示的な推論経路を生成することで、回答プロセスの解釈可能性と追跡可能性を向上させる。
• 事前に収集された知識グラフの論理的経路を自然な思考の連鎖の監視データとして扱い、手作業で作成するか、SQLベースのCoT作成を回避する。
• LLaMAおよびChatGPTをLLMのバックボーンとしてサポートし、異なるモデルの能力を評価可能にする。

Figure 1: The workflow of Keqing applied for KBQA mainly consists of four stages: #1 Question Decomposition : decompose a complex question into several sub-questions according to predefined question templates; #2 Knowledge Retrieval : retrieve candidate entities on the knowledge graph by aligning de

実験結果

リサーチクエスチョン

• RQ1 知識グラフ上で行う知識ベースの質問応答は、LLMsにとって自然な思考の連鎖メンターとして機能できるか？
• RQ2 自然言語テンプレートを用いた質問分解は、直接的な論理的経路生成（例：SQL風）と比較して、LLMsの推論性能を向上させるか？
• RQ3 1つの部分質問あたりに取得する質問テンプレートの数が、全体のKBQA性能に与える影響は何か？
• RQ4 解釈可能な推論経路を維持しながら、最先端の結果を達成できるか？
• RQ5 構造化された知識グラフの経路を用いることで、LLMsの応答における幻覚現象が軽減され、事実の整合性が向上するか？

主な発見

• Keqingは、1ホップで98.4 Hits@1、2ホップで99.9、3ホップで99.6を記録し、MetaQAベンチマークで新たな最先端性能を達成した。
• Keqing-ChatGPTはWebQSPで74.9 F1を達成し、他のLLMベースのKBQA手法を上回り、フレームワークのワークフローの優位性を示した。
• 1つの部分質問あたりに取得する質問テンプレートの数を増やすことでKeqingの性能が向上するが、最適値に達した後はコンテキストの過負荷により低下する傾向を示した。
• 自然言語テンプレートによる質問分解は、直接的な論理的経路生成（例：SQL風）を大幅に上回り、LLMsがテキスト的分解にうまく適合していることを示した。
• 事前に収集された知識グラフの推論経路をCoTメンターとして用いることで、ヒューリスティック的またはエンドツーエンドのCoT手法よりも信頼性が高く、解釈可能な推論が可能になった。
• アブレーションスタディにより、特に分解と取得の段階が、性能と耐障害性において重要な役割を果たしていることが確認された。

Figure 2: The pipeline of aligning decomposed sub-questions to executable logical chains on KG, where each sub-question will be mapped to a set of logical chains of top-K relevant question templates.