[論文レビュー] HyKGE: A Hypothesis Knowledge Graph Enhanced Framework for Accurate and Reliable Medical LLMs Responses

Xinke Jiang, Ruizhe Zhang+9 more|arXiv (Cornell University)|Dec 26, 2023

Topic Modeling被引用数 5

ひとこと要約

HyKGEは、仮説生成と知識グラフ（KG）の検索を統合することで、医療LLMの正確性と信頼性を向上させる画期的なフレームワークである。LLMを用いて曖昧なクエリから構造化された仮説を生成し、それらをKGエンティティと整合させて的を射た検索を実施し、断片の再ランク付けモジュールを適用して結果を精緻化する。医療QAベンチマークにおいて、幻覚を低減し、解釈可能性を向上させながら優れた性能を示している。

ABSTRACT

In this paper, we investigate the retrieval-augmented generation (RAG) based on Knowledge Graphs (KGs) to improve the accuracy and reliability of Large Language Models (LLMs). Recent approaches suffer from insufficient and repetitive knowledge retrieval, tedious and time-consuming query parsing, and monotonous knowledge utilization. To this end, we develop a Hypothesis Knowledge Graph Enhanced (HyKGE) framework, which leverages LLMs' powerful reasoning capacity to compensate for the incompleteness of user queries, optimizes the interaction process with LLMs, and provides diverse retrieved knowledge. Specifically, HyKGE explores the zero-shot capability and the rich knowledge of LLMs with Hypothesis Outputs to extend feasible exploration directions in the KGs, as well as the carefully curated prompt to enhance the density and efficiency of LLMs' responses. Furthermore, we introduce the HO Fragment Granularity-aware Rerank Module to filter out noise while ensuring the balance between diversity and relevance in retrieved knowledge. Experiments on two Chinese medical multiple-choice question datasets and one Chinese open-domain medical Q&A dataset with two LLM turbos demonstrate the superiority of HyKGE in terms of accuracy and explainability.

研究の動機と目的

• 外部の知識グラフを統合することで、医療LLMにおける事実誤認や幻覚を是正すること。
• クエリが曖昧または不完全な場合でも、ユーザーのクエリと高品質な構造化知識との整合性を高めること。
• 複数回のLLM相互作用に依存するのを減らし、1回のステップで効率的な仮説駆動型検索を可能にすること。
• 臨床意思決定の文脈におけるLLMの出力の解釈可能性と信頼性を向上させること。
• 検証済みのKGエビデンスを用いて、LLM出力に含まれる誤った知識を是正するフレームワークを開発すること。

提案手法

• 不完全または曖昧なユーザークエリから、包括的な仮説文書を生成するためにLLMのゼロショット推論能力を活用する。
• 仮説の出力を利用して、知識グラフ内のアンカーとなるエンティティと関係を同定し、的を射た検索を実施する。
• 短い知識スニペットを再編成・統合することで、仮説およびクエリとの整合性を高める断片の再ランク付けモジュールを適用する。
• 階層的オントロジー（HO）と知識グラフ（KG）を統合して、誤ったまたは非論理的なLLM出力を検証・是正する。
• 事前検索における仮説生成と、事後検索における精緻化の2段階プロセスを採用し、ノイズを低減し、精度を向上させる。
• 自然言語プロンプトを活用して、LLMがより豊富で制限のきいた仮説を生成するのを促し、反復的相互作用の必要性を低減する。

Figure 1. HyKGE Example.

実験結果

リサーチクエスチョン

• RQ1 LLMが生成する仮説は、医療QAにおいてユーザークエリと高品質な知識グラフエンティティとの整合性を向上させることができるか？
• RQ2 ユーザークエリが曖昧または制約が不足している場合、知識グラフ検索をどのようにしてより効率的かつ正確にできるか？
• RQ3 断片の再ランク付けモジュールは、KGから抽出された短いスニペットを精緻化することで、検索精度をどの程度向上させられるか？
• RQ4 知識グラフの統合により、医療推論タスクで生成された幻覚的または誤ったLLM出力を是正できるか？
• RQ5 複雑な医療シナリオにおいて、標準的なRAGやファインチューニング済みLLMと比較して、HyKGEフレームワークは正確性と信頼性をどの程度向上させるか？

主な発見

• HyKGEは、構造化された知識グラフを用いて誤った知識を検証・是正することで、医療LLMの出力における幻覚を顕著に低減した。
• 2つの医療多肢択一問題データセットにおいて、ベースラインのRAGやファインチューニング済みLLMと比較して、優れた性能を示し、正確性と信頼性が向上した。
• 断片の再ランク付けモジュールにより、仮説から導かれるクエリと知識グラフスニペットとの間で細かく整合性を保つことが可能になり、検索精度が向上した。
• 事例研究では、HyKGEが初期のLLM出力エラーを効果的に是正したことが示された—推論チェーンにおいて赤（初期仮説）から緑（KGで検証済みの回答）に移行した。
• 1ステップで包括的な仮説を生成することで、複数回のLLM相互作用の必要性を低減し、処理効率が向上した。
• GPT-3.5 Turboを用いた実験では、特に曖昧または専門的な臨床文脈において、多様で複雑な医療クエリに対してもHyKGEが高い性能を維持した。

Figure 2. HyKGE Method.