[論文レビュー] Biomedical knowledge graph-optimized prompt generation for large language models

Karthik Soman, Peter W. Rose+12 more|arXiv (Cornell University)|Nov 29, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文は、SPOKE知識グラフを用いて生物医学的LLMを強化する、トークン最適化された知識グラフベースのリtrieval-augmented generation（KG-RAG）フレームワークを提案する。グラフスキーマを最小限に抑え、埋め込みに基づくコンテキストの刈り込みを実施することで、50%以上のトークン消費削減を達成しながら性能を向上させた。Llama-2-13bを用いた実験では、挑戦的な複数選択式生物医学データセットで71%の性能向上を達成し、オープンソースおよびプロプライエタリなLLMにおいて、コスト効率が良く、正確で、出典を明示した生成が可能であることを実証した。

ABSTRACT

Large Language Models (LLMs) are being adopted at an unprecedented rate, yet still face challenges in knowledge-intensive domains like biomedicine. Solutions such as pre-training and domain-specific fine-tuning add substantial computational overhead, requiring further domain expertise. Here, we introduce a token-optimized and robust Knowledge Graph-based Retrieval Augmented Generation (KG-RAG) framework by leveraging a massive biomedical KG (SPOKE) with LLMs such as Llama-2-13b, GPT-3.5-Turbo and GPT-4, to generate meaningful biomedical text rooted in established knowledge. Compared to the existing RAG technique for Knowledge Graphs, the proposed method utilizes minimal graph schema for context extraction and uses embedding methods for context pruning. This optimization in context extraction results in more than 50% reduction in token consumption without compromising the accuracy, making a cost-effective and robust RAG implementation on proprietary LLMs. KG-RAG consistently enhanced the performance of LLMs across diverse biomedical prompts by generating responses rooted in established knowledge, accompanied by accurate provenance and statistical evidence (if available) to substantiate the claims. Further benchmarking on human curated datasets, such as biomedical true/false and multiple-choice questions (MCQ), showed a remarkable 71% boost in the performance of the Llama-2 model on the challenging MCQ dataset, demonstrating the framework's capacity to empower open-source models with fewer parameters for domain specific questions. Furthermore, KG-RAG enhanced the performance of proprietary GPT models, such as GPT-3.5 and GPT-4. In summary, the proposed framework combines explicit and implicit knowledge of KG and LLM in a token optimized fashion, thus enhancing the adaptability of general-purpose LLMs to tackle domain-specific questions in a cost-effective fashion.

研究の動機と目的

• 生物医学分野におけるLLMのファインチューニングにかかる高い計算コストとドメイン専門知識のコストを低減すること。
• 生物医学的推論における事実の正確性を損なわず、RAGパイプラインにおけるトークン消費量を削減すること。
• Llama-2-13bのようなオープンソースLLMが、GPT-3.5やGPT-4などのプロプライエタリモデルと同等またはそれ以上の性能を、ドメイン特化された生物医学的タスクで発揮できるようにすること。
• 生物医学的知識グラフからの明示的および暗黙的知識を、強固でコスト効率の良い方法でLLMに統合すること。
• 生物医学的文脈におけるLLM生成の主張に対して、正確な出典と統計的証拠を提供すること。

提案手法

• フレームワークは、事実の根拠付けのためのリトリーブソースとしてSPOKE生物医学知識グラフを用いる。
• 最小限のグラフスキーマを適用してコンテキストを抽出することで、不要または重複する情報の削減を図る。
• 埋め込みに基づく手法を用いて、低関連性のコンテキストを刈り込み、トークン使用量を最適化する。
• リトリーブされた知識を構造化されたフォーマットでプロンプトに統合し、LLMの推論を支援する。
• 本アプローチは、オープンソース（Llama-2-13b）およびプロプライエタリなLLM（GPT-3.5-Turbo、GPT-4）の両方をサポートする。
• 生成された応答に、自動的に出典と統計的証拠を関連付ける。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ最適化されたRAGフレームワークは、正確性を損なわず、生物医学的LLMプロンプティングにおけるトークン消費量を削減できるか？
• RQ2 このようなフレームワークは、オープンソースLLMのドメイン特化された生物医学ベンチマークにおける性能をどの程度向上できるか？
• RQ3 生物医学的KGからの明示的および暗黙的知識の統合は、LLM出力における事実の整合性と出典の明示をどのように向上させるか？
• RQ4 最小限のスキーマと埋め込みに基づく刈り込みは、計算コストを削減しながらも、性能を維持または向上できるか？
• RQ5 多様な生物医学的プロンプトにおいて、標準的なRAG手法と比較して、本フレームワークは、強靭性と効率性の面で優れているか？

主な発見

• KG-RAGフレームワークは、標準的なRAG技術と比較して、50%以上のトークン消費量を削減したが、正確性に影響を与えないことを確認した。
• 挑戦的な生物医学的複数選択問題（MCQ）データセットにおいて、Llama-2-13bはKG-RAGを用いることで71%の性能向上を達成した。
• 本フレームワークは、GPT-3.5-TurboやGPT-4を含むプロプライエタリモデルの性能を、多様な生物医学的プロンプトにおいても向上させた。
• 生成された応答には、利用可能な場合に正確な出典と統計的証拠が含まれており、信頼性が向上した。
• 本手法は、さまざまなLLMにおいて強靭性を示し、プロプライエタリおよびオープンソースモデルへのコスト効率の良い展開を可能にした。
• SPOKEからの明示的および暗黙的知識の統合により、LLM出力の事実の根拠付けと推論能力が顕著に向上した。