[논문 리뷰] MedBioLM: Optimizing Medical and Biological QA with Fine-Tuned Large Language Models and Retrieval-Augmented Generation

Seon‐Ok Kim|ArXiv.org|2025. 02. 05.

Biomedical Text Mining and Ontologies인용 수 5

한 줄 요약

MedBioLM은 도메인 특화 미세조정과 retrieval-augmented generation (RAG)을 결합해 폐쇄형, 장문형, 단문형 작업에서 생물의학 QA를 개선하고, 핵심 벤치마크에서 기본 모델보다 더 높은 정확도를 달성하며, RAG가 검색 의존 질의의 사실성 향상에 기여함을 보인다.

ABSTRACT

Large Language Models (LLMs) have demonstrated impressive capabilities across natural language processing tasks. However, their application to specialized domains such as medicine and biology requires further optimization to ensure factual accuracy, reliability, and contextual depth. We introduce MedBioLM, a domain-adapted biomedical question-answering model designed to enhance both short-form and long-form queries. By integrating fine-tuning and retrieval-augmented generation (RAG), MedBioLM dynamically incorporates domain-specific knowledge, improving reasoning abilities and factual accuracy. To evaluate its effectiveness, we fine-tuned the model on diverse biomedical QA datasets, covering structured multiple-choice assessments and complex clinical reasoning tasks. Fine-tuning significantly improves accuracy on benchmark datasets, while RAG enhances factual consistency. These results highlight the potential of domain-optimized LLMs in advancing biomedical research, medical education, and clinical decision support.

연구 동기 및 목표

• 도메인에 적응된 LLM을 사용하여 생의학 QA에서 사실성 향상, 신뢰성, 맥락적 깊이를 촉진한다.
• 폐쇄형, 장문형, 단문형 등 다양한 QA 포맷에서 미세조정, RAG, 프롷트 엔지니어링의 영향을 평가한다.
• 다양한 생의학 QA 데이터셋에서 성능을 평가하고 각 최적화 전략이 가장 큰 도움을 주는 조건을 규명한다.

제안 방법

• 다양한 QA 데이터셋에서 생의학 LLM을 미세조정하여 도메인 특화 추론 및 사실 정확성을 향상시킨다.
• 키워드 기반의 구조화된 인덱스와 함께 Retrieval-Augmented Generation (RAG)을 통합하여 외부 지식의 정밀한 검색을 수행한다.
• QA 포맷별(폐쇄형, 장문형, 단문형)에 맞춘 시스템 프롬프트와 해석 매개변수를 조정하기 위한 프롬프트 엔지니어링을 적용한다.
• 확장 가능한 미세조정 및 추론 최적화를 위해 Azure 기반 인프라를 활용한다.
• 데이터셋 전반에서 폐쇄형 정확도 및 텍스트 생성 지표(ROUGE, BLEU, BERTScore, BLEURT)로 평가한다.
• 미세조정 및 RAG로 인한 이득을 정량화하기 위해 GPT-4o, GPT-4, GPT-3.5를 포함한 기본 모델과 비교한다.

Figure 1: Comparative performance of MedBioLM and base models on closed-ended and short-form biomedical QA tasks, highlighting the benefits of fine-tuning.

실험 결과

연구 질문

• RQ1 도메인 특화 미세조정이 폐쇄형 생의학 QA 데이터셋(MedQA, PubMedQA, BioASQ)의 정확도에 어떤 영향을 미치는가?
• RQ2 생의학 QA에서 Retrieval-Augmented Generation (RAG)의 사실 정확도와 어휘적 유사성에 대한 영향은 무엇인가?
• RQ3 프롬프트 엔지니어링과 디코딩 매개변수가 단문/장문 생의학 답변 품질에 어떤 영향을 미치는가?
• RQ4 미세조정된 모델이 여러 QA 포맷과 데이터셋에서 기본 모델을 능가하는가, 그리고 어떤 조건에서 RAG가 가치를 더하는가?
• RQ5 생의학 QA에서 GPT-4o가 도메인 적응의 이점을 얻는가? GPT-4 및 GPT-3.5와 비교하여.

주요 결과

Dataset	MedBioLM	GPT-4o	GPT-4o-mini	GPT-4	GPT-3.5
MedQA	88.0	87.0	70.4	81.71	50.51
PubMedQA	78.9	44.74	77.55	70.0	19.30
BioASQ	96.0	92.0	92.0	96.0	88.0

• 미세조정된 MedBioLM은 MedQA에서 88.0%, PubMedQA에서 78.9%, BioASQ에서 96.0%의 정확도를 달성하여 MedQA와 PubMedQA에서 GPT-4o와 GPT-3.5를 능가하고 BioASQ에서 거의 완벽한 성능을 보였다.
• RAG는 단문 QA 지표를 향상시키고 ROUGE-1 및 기타 어휘 유사성 지표를 증가시키지만, 전반적으로 단문/장문 출력에 미세조정이 더 큰 영향을 준다.
• 장문 QA는 MedicationQA에서 미세조정으로 상당한 이득을 보이며 (ROUGE-1: 24.69; BLEU: 2.49; BERTScore: 8.98), 반면 LiveQA 결과는 일부 경우 과적합 가능성을 시사한다.
• 단문 QA 결과는 미세조정된 GPT-4o가 기본 모델보다 현저히 우수함을 나타내며(ROUGE-1: 43.17 vs. 4.35; BLEU: 11.55 vs. 0.28), 미세조정이 적용될 때 RAG의 추가 이점은 제한적이다.
• 대응하는 쌍별 평가에서 GPT-4o가 전반적 정확도에서 더 높은 경우가 많고, MedBioLM은 특정 케이스에서 일관성과 간결성에서 두드러진 강점을 보여보완적 강점을 시사한다.
• BLEURT 점수는 모델 전반에서 장문 생성에 대해 대체로 부정적이며, 인간과 유사한 장문 응답 생성에 지속적인 도전이 있음을 시사한다.

Figure 2: Overview of our approach for optimizing large language models (LLMs) in biomedical question answering, integrating fine-tuning, retrieval-augmented generation (RAG), and prompt engineering to enhance performance across different QA formats.