[論文レビュー] MKRAG: Medical Knowledge Retrieval Augmented Generation for Medical Question Answering

Yucheng Shi, Shaochen Xu+6 more|arXiv (Cornell University)|Sep 27, 2023

Topic Modeling被引用数 8

ひとこと要約

本論文は、文脈内の医療知識編集を用いた検索拡張生成（MKRAG）を提案し、ファインチューニングなしで医療QAを改善し、MedQA-USMLEにおけるVicuna性能を向上させる。

ABSTRACT

Large Language Models (LLMs), although powerful in general domains, often perform poorly on domain-specific tasks such as medical question answering (QA). In addition, LLMs tend to function as "black-boxes", making it challenging to modify their behavior. To address the problem, our work employs a transparent process of retrieval augmented generation (RAG), aiming to improve LLM responses without the need for fine-tuning or retraining. Specifically, we propose a comprehensive retrieval strategy to extract medical facts from an external knowledge base, and then inject them into the LLM's query prompt. Focusing on medical QA, we evaluate the impact of different retrieval models and the number of facts on LLM performance using the MedQA-SMILE dataset. Notably, our retrieval-augmented Vicuna-7B model exhibited an accuracy improvement from 44.46% to 48.54%. This work underscores the potential of RAG to enhance LLM performance, offering a practical approach to mitigate the challenges posed by black-box LLMs.

研究の動機と目的

• LLMの医療知識のギャップを解消することで、ファインチューニングなしの医療QAの改善を動機づける。
• 外部知識でLLMを導くための2段階の医療事実検索と文脈内編集を提案する。
• MedQA-USMILE/MedQA-USMLEデータセットでアプローチを示し、検索モデルを比較する。

提案手法

• 外部医療知識を選択した埋め込みモデルで埋め込みへ変換する。
• 回答候補ごとに関連するトップK事実を広く検索する。
• 質問に最も類似するトップkの事実を絞り込み、F_Rを形成する。
• retrieved facts をプロンプトに挿入してLLMの文脈内編集を実行する。
• MedQA-USMLEデータセット上でVicuna-13Bモデルを用いて編集を評価する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 文脈内事実によるモデル編集は医療QAの性能を向上させるか。
• RQ2 RQ2: どの検索埋め込みモデル（Contriever vs SapBERT）が医療QAの事実検索に優れているか。
• RQ3 RQ3: 編集事実の数を変えるとQA精度にどのような影響があるか。

主な発見

Method	Accuracy (%)
BERT-base	34.3
BioBERT-base	34.1
RoBERTa-large	35.0
BioBERT-large	36.7
SapBERT	37.2
QA-GNN	38.0
Pre-edited Vicuna	44.46
Post-edited Vicuna (Ours)	48.54

• 編集後の Vicuna は MedQA-USMLE テストで 48.54% の精度を達成し、事前編集の Vicuna の 44.46% を上回った。
• この設定では検索モデルとして Contriever が SapBert を若干上回る（48.54% 対 48.07%）、検索品質が重要であることを示唆。
• 編集事実の数を 4/8/16 と増やすと、モデルのプロンプトサイズ制約内で精度に正の相関が見られる。
• 本手法はファインチューニングや再学習を伴わず、BioBERT、SapBERT、QA-GNN などのベースラインと比較して競争力のある利得を得る。