[論文レビュー] Rationale-Guided Retrieval Augmented Generation for Medical Question Answering

Jiwoong Sohn, Yein Park+6 more|arXiv (Cornell University)|Nov 1, 2024

Topic Modeling被引用数 6

ひとこと要約

RAG 2 は理由付けに基づくフィルタリング、理由ベースのクエリ作成、そしてバランスの取れたリトリーバルを導入し、医療QAを改善する。あらゆるベンチマークとモデルサイズでLLMの精度を一貫して向上させる。

ABSTRACT

Large language models (LLM) hold significant potential for applications in biomedicine, but they struggle with hallucinations and outdated knowledge. While retrieval-augmented generation (RAG) is generally employed to address these issues, it also has its own set of challenges: (1) LLMs are vulnerable to irrelevant or incorrect context, (2) medical queries are often not well-targeted for helpful information, and (3) retrievers are prone to bias toward the specific source corpus they were trained on. In this study, we present RAG$^2$ (RAtionale-Guided RAG), a new framework for enhancing the reliability of RAG in biomedical contexts. RAG$^2$ incorporates three key innovations: a small filtering model trained on perplexity-based labels of rationales, which selectively augments informative snippets of documents while filtering out distractors; LLM-generated rationales as queries to improve the utility of retrieved snippets; a structure designed to retrieve snippets evenly from a comprehensive set of four biomedical corpora, effectively mitigating retriever bias. Our experiments demonstrate that RAG$^2$ improves the state-of-the-art LLMs of varying sizes, with improvements of up to 6.1\%, and it outperforms the previous best medical RAG model by up to 5.6\% across three medical question-answering benchmarks. Our code is available at https://github.com/dmis-lab/RAG2.

研究の動機と目的

• 取得と生成を統合して、生物医学のLLMにおける幻覚（実在しない情報）の発生と時代遅れの知識に対処する。
• 理由の困惑度差に基づく小さなフィルタリングモデルを訓練して、検索のバイアスと邪魔情報を軽減する。
• LLM が生成した推論をクエリとして使用してQAの有用性を高める。
• 4つの生物医学コーパスにわたるバランスの取れた証拠源の調達を促進し、コーパスバイアスを低減する。

提案手法

• 取得文の有無を比較する理由付けベースのラベルを用いて、Flan-T5ベースの小さなフィルターを訓練する。
• エビデンス取得のために、LLM が生成した推論をプロンプトとして使用する（理由付けベースのクエリ）。
• 情報源をバランスさせるために、4つのコーパス（PubMed、PMC、教科書、臨床ガイドライン）から等しい数のスニペットを取得する。
• バランスの取れた取得後にリランカー（MedCPT）を適用してスニペットの関連性を精練する。
• 反復的なコストの高いプロセスを避けるため、単一パス生成で評価する。

実験結果

リサーチクエスチョン

• RQ1 理由付けガイド付きフィルタリングは、ベースのLLMにとって取得されたスニペットの有用性を向上させるか？
• RQ2 理由付けベースのクエリは、医療ベンチマーク全体でエビデンスの有用性とQA性能を向上させるか？
• RQ3 バランスの取れた取得はリトリーバのバイアスを低減し、コーパス間のカバレッジを改善するか？
• RQ4 RAG 2 が異なるバックボーンLLMおよび医療QAデータセットに及ぼす影響は？

主な発見

モデル	MedQA	MedMCQA	MMLU-Med	平均
Llama-3-8B-Instruct + RAG 2	64.6	59.4	74.8	66.3
Meerkat-7B + RAG 2	75.6	63.0	78.7	72.4
GPT-4o + RAG 2	91.1	77.2	92.5	86.9

• RAG 2 はバックボーンLLM全体で平均精度を最大6.1%向上させる。
• RAG 2 は3つの医療QAベンチマークで従来の医療RAGモデルを最大5.6%上回る。
• RAG 2 はオープンソース、医療、商用のLLMを改善し、顕著な向上を示す（例：GPT-4o は大幅な向上を示す）。
• バランスの取れた取得は主要ベンチマークで一貫して MedRAG を上回る。
• 消失分析（アブレーション）により、理由付けベースのフィルタリングと理由付きクエリが顕著な性能向上に寄与することが示された。