[論文レビュー] KGARevion: An AI Agent for Knowledge-Intensive Biomedical QA

Xiaorui Su, Yibo Wang+5 more|arXiv (Cornell University)|Oct 7, 2024

Quality and Safety in Healthcare被引用数 4

ひとこと要約

KGARevion は、文脈に即した知識グラフ（KG）に基づく LLM エージェントであり、医療用知識グラフに対して医療トリプルの生成・検証・再編集を行うことで、知識集約型のバイオメディカルQAを向上させる。標準データセットでは5.2%以上の精度向上を達成し、新規の複雑な医療QAベンチマークでは10.4%の向上を示し、多様な医療推論に耐性があり適応可能であることを実証した。

ABSTRACT

Biomedical reasoning integrates structured, codified knowledge with tacit, experience-driven insights. Depending on the context, quantity, and nature of available evidence, researchers and clinicians use diverse strategies, including rule-based, prototype-based, and case-based reasoning. Effective medical AI models must handle this complexity while ensuring reliability and adaptability. We introduce KGARevion, a knowledge graph-based agent that answers knowledge-intensive questions. Upon receiving a query, KGARevion generates relevant triplets by leveraging the latent knowledge embedded in a large language model. It then verifies these triplets against a grounded knowledge graph, filtering out errors and retaining only accurate, contextually relevant information for the final answer. This multi-step process strengthens reasoning, adapts to different models of medical inference, and outperforms retrieval-augmented generation-based approaches that lack effective verification mechanisms. Evaluations on medical QA benchmarks show that KGARevion improves accuracy by over 5.2% over 15 models in handling complex medical queries. To further assess its effectiveness, we curated three new medical QA datasets with varying levels of semantic complexity, where KGARevion improved accuracy by 10.4%. The agent integrates with different LLMs and biomedical knowledge graphs for broad applicability across knowledge-intensive tasks. We evaluated KGARevion on AfriMed-QA, a newly introduced dataset focused on African healthcare, demonstrating its strong zero-shot generalization to underrepresented medical contexts.

研究の動機と目的

• 多様な戦略（類推的、規則ベース、事例ベース）を用いる知識集約型バイオメディカル推論の独自の課題に対処すること。
• LLM がバイオメディカルQAにおいて抱える限界、すなわち幻覚、検索の不備、構造化された医療知識への根拠の欠如を克服すること。
• 非コーディングされたLLMの知識と、医療KGから得られる構造化されたコーディング済み知識を統合するシステムを構築し、推論の正確性と信頼性を向上させること。
• 複数選択QAの設定で一般的に見られる回答順序やインデックスバイアスに対して耐性を確保すること。
• 標準的および新たに収集された意味論的に複雑な医療QAベンチマークを用いてモデルを評価し、一般化性能および難易度上昇下での性能を評価すること。

提案手法

• 医療質問を体系的に処理するための4段階のエージェントフレームワーク（生成・取得・レビュー・再編集）を採用する。
• 入力質問とKG埋め込みをプロンプトとして用い、微調整済みLLMを用いて候補となる医療トリプル（主語-述語-目的語）を生成する。
• 事前に学習済みの構造的埋め込み（例：OGB-biokg や PrimeKG からのもの）を用いたベクトル検索により、関連するKGトリプルを取得する。
• 生成されたトリプルを文脈に即した医療KGと照合することで、検証・確認を行い、幻覚的または誤った事実を除外する。
• KG検証ステップからのフィードバックに基づき、反復的にトリプルを精錬することで、推論経路を再編集する。
• KGを検索ソースとしてではなく、事実の検証者として活用し、最終的な回答に寄与するのは医学的に正確で関連性のあるトリプルのみを保証する。

Figure 1: a) Performance of LLMs on three new datasets introduced in this paper with questions of varying difficulty. b) Sample questions from new MedDDx-Basic, MedDDx-Intermediate, and MedDDx-Expert datasets.

実験結果

リサーチクエスチョン

• RQ1 標準的なRAGやLLMオンリーベースラインと比較して、KGベースのエージェントは、複雑な知識集約型バイオメディカルQAにおけるLLMの精度を向上させることができるか？
• RQ2 構造化されたKG検証の統合は、LLMの幻覚や検索エラーの影響を受ける状況下でも、推論の耐性をどのように向上させるか？
• RQ3 KGARevion は、エキスパートレベルの質問を含む、意味論的に複雑な医療QAのさまざまな難易度レベルにおいて、性能をどの程度維持できるか？
• RQ4 KGARevion は、標準的なLLMと比較して、複数選択QA設定における回答順序やラベル付けに対してどの程度感受性を示すか？
• RQ5 異なるKGとLLMバックボーンを用いても、高い正確性と信頼性を維持しながら汎用性を発揮できるか？

主な発見

• KGARevion は、15種類のベースラインモデルと比較して、4つのゴールドスタンダード医療QAデータセットで5.2%以上の精度向上を達成し、複雑な医療質問において優れた性能を示した。
• 新たに収集された高複雑度の医療QAデータセット3つ（MedDDx-Basic, MedDDx-Intermediate, MedDDx-Expert）において、KGARevion はベースラインLLMと比較して10.4%の絶対的な精度向上を達成した。
• KGARevion は複数選択設定における回答順序やインデックスバイアスに対して強く耐性を示し、LLaMA3-8B では2.59%、LLaMA3.1-8B では3.86%の精度低下にとどまったのに対し、純粋なLLMではそれぞれ8.4%および16.0%の精度低下を示した。
• OGB-biokg などの小さなKGを使用しても、KGARevion の性能は安定的かつ高い水準を維持しており、より大きなKG（例：PrimeKG）に依存するモデルを上回った。これは、検証メカニズムの有効性を示している。
• KGARevion が生成する推論経路は説明可能で根拠に基づいており、検証済みトリプルが一貫性があり追跡可能な医療的論理の鎖を形成している。例えば、染色体欠失と特定の症候群との関連を結びつけることができる。
• KGARevion の設計により、事実（構造化済み）知識と内的知識（コーディングされていない）知識を体系的に統合でき、微妙な医学的差異や意味論的に類似しているが臨床的に異なる概念を処理できるようになった。

Figure 2: a) The overview of KGARevion . b ) The architecture of fine-tuning stage in the Review action, where embeddings get from KGs are structural embeddings, while concept embeddings from LLMs.