[論文レビュー] MedBioLM: Optimizing Medical and Biological QA with Fine-Tuned Large Language Models and Retrieval-Augmented Generation

Seon‐Ok Kim|ArXiv.org|Feb 5, 2025

Biomedical Text Mining and Ontologies被引用数 5

ひとこと要約

MedBioLM は、ドメイン特化のファインチューニングと Retrieval-Augmented Generation (RAG) を組み合わせて、閉じた形式、長文、短文タスクを通じた生物医療 QA の正確性を向上させ、主要なベンチマークでベースモデルより高い精度を達成し、RAG が取得依存の問合せの事実性を高めることを示します。

ABSTRACT

Large Language Models (LLMs) have demonstrated impressive capabilities across natural language processing tasks. However, their application to specialized domains such as medicine and biology requires further optimization to ensure factual accuracy, reliability, and contextual depth. We introduce MedBioLM, a domain-adapted biomedical question-answering model designed to enhance both short-form and long-form queries. By integrating fine-tuning and retrieval-augmented generation (RAG), MedBioLM dynamically incorporates domain-specific knowledge, improving reasoning abilities and factual accuracy. To evaluate its effectiveness, we fine-tuned the model on diverse biomedical QA datasets, covering structured multiple-choice assessments and complex clinical reasoning tasks. Fine-tuning significantly improves accuracy on benchmark datasets, while RAG enhances factual consistency. These results highlight the potential of domain-optimized LLMs in advancing biomedical research, medical education, and clinical decision support.

研究の動機と目的

• ドメイン適応済みLLMを用いた生物医療QAにおける事実性の向上、信頼性の強化、文脈的深さの増大を動機づける。
• ファインチューニング、RAG、およびプロンプトエンジニアリングの影響を、複数のQA形式（閉じた形式、長文、短文）に跨って評価する。
• 多様な生物医療QAデータセットでの性能を評価し、各最適化戦略が最も効果を発揮する条件を特定する。

提案手法

• 多様なQAデータセット上で生物医療LLMをファインチューニングし、領域特有の推論と事実性を向上させる。
• キーワードベースの構造化インデックスと組み合わせた Retrieval-Augmented Generation (RAG) を、正確な外部知識検索のために導入する。
• 各QA形式（閉じた形式、長文、短文）に合わせて、システムプロンプトとデコードパラメータを調整するプロンプト設計を適用する。
• スケーラブルなファインチューニングと推論最適化のためにAzureベースのインフラを使用する。
• データセット全体で、閉じた形式の正確性とテキスト生成指標（ROUGE、BLEU、BERTScore、BLEURT）を用いて評価する。
• ファインチューニングとRAGの利益を定量化するため、GPT-4o、GPT-4、GPT-3.5を含むベースモデルと比較する。

Figure 1: Comparative performance of MedBioLM and base models on closed-ended and short-form biomedical QA tasks, highlighting the benefits of fine-tuning.

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化のファインチューニングは、閉じた形式の生物医療QAデータセット（MedQA、PubMedQA、BioASQ）での正確性にどのように影響するか？
• RQ2 生物医療QAにおける事実性と語彙的類似性に対する Retrieval-Augmented Generation (RAG) の影響は？
• RQ3 プロンプト設計とデコードパラメータは、短文・長文の生物医療回答品質にどのように影響するか？
• RQ4 ファインチューニング済みモデルは複数のQA形式とデータセットでベースモデルを上回るか、またRAGが価値を追加する条件は何か？
• RQ5 GPT-4oは生物医療QAにおいて、GPT-4およびGPT-3.5と比較してドメイン適応の恩恵を受けるか？

主な発見

データセット	MedBioLM	GPT-4o	GPT-4o-mini	GPT-4	GPT-3.5
MedQA	88.0	87.0	70.4	81.71	50.51
PubMedQA	78.9	44.74	77.55	70.0	19.30
BioASQ	96.0	92.0	92.0	96.0	88.0

• ファインチューニング済みのMedBioLMはMedQAで88.0%、PubMedQAで78.9%、BioASQで96.0%の正確性を達成し、MedQAおよびPubMedQAでGPT-4oおよびGPT-3.5を上回り、BioASQではほぼ完璧な性能を示す。
• RAGは短文QAの指標を高め、ROUGE-1などの語彙的類似性指標を増加させるが、全体としてはファインチューニングが短文・長文出力の影響を強く与える。
• 長文QAはMedicationQAでファインチューニングによる顕著な利得を示す（ROUGE-1: 24.69; BLEU: 2.49; BERTScore: 8.98）、ただしLiveQAの結果は一部のケースで過剰適合の可能性を示唆。
• 短文QAの結果は、ファインチューニング済みのGPT-4oがベースモデルを大きく上回る（ROUGE-1: 43.17 対 4.35; BLEU: 11.55 対 0.28）、ファインチューニング適用時にはRAGの追加利点は限定的。
• 比較ペア評価は、GPT-4o が総合正確性で高い場合が多い一方、MedBioLM は特定のケースで一貫性と簡潔さで優れ、相補的な強みを浮き彫りにする。
• BLEURTスコアはモデルを横断して長文生成においてほぼ全体的に低下しており、人間らしい長文回答を生み出すことの継続的な課題を示している。

Figure 2: Overview of our approach for optimizing large language models (LLMs) in biomedical question answering, integrating fine-tuning, retrieval-augmented generation (RAG), and prompt engineering to enhance performance across different QA formats.