[논문 리뷰] MKRAG: Medical Knowledge Retrieval Augmented Generation for Medical Question Answering

Yucheng Shi, Shaochen Xu외 6명|arXiv (Cornell University)|2023. 09. 27.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 MKRAG를 제시합니다. 이는 맥락 기반 의학 지식 편집을 활용한 검색-강화 생성 접근법으로, 파인튜닝 없이 의학 QA의 성능을 개선하며 MedQA-USMLE에서 Vicuna의 성능 향상을 보입니다.

ABSTRACT

Large Language Models (LLMs), although powerful in general domains, often perform poorly on domain-specific tasks such as medical question answering (QA). In addition, LLMs tend to function as "black-boxes", making it challenging to modify their behavior. To address the problem, our work employs a transparent process of retrieval augmented generation (RAG), aiming to improve LLM responses without the need for fine-tuning or retraining. Specifically, we propose a comprehensive retrieval strategy to extract medical facts from an external knowledge base, and then inject them into the LLM's query prompt. Focusing on medical QA, we evaluate the impact of different retrieval models and the number of facts on LLM performance using the MedQA-SMILE dataset. Notably, our retrieval-augmented Vicuna-7B model exhibited an accuracy improvement from 44.46% to 48.54%. This work underscores the potential of RAG to enhance LLM performance, offering a practical approach to mitigate the challenges posed by black-box LLMs.

연구 동기 및 목표

• 파인튜닝 없이 LLM의 의학 지식의 격차를 해결하여 의학 QA를 개선하려는 동기를 제시한다.
• 외부 지식으로 LLM을 안내하기 위한 두 단계의 의학 사실 검색과 맥락 기반 편집을 제안한다.
• MedQA-USMILE/MedQA-USMLE 데이터셋에서 이 접근법을 시연하고 검색 모델을 비교한다.

제안 방법

• 선택한 임베딩 모델로 외부 의학 정보를 임베딩으로 변환한다.
• 각 답 후보와 관련된 상위-K 개의 사실을 수집하기 위한 광범위한 검색.
• 질문과 가장 유사한 상위-k 개의 사실을 선택하기 위한 정제된 검색으로 F_R를 형성한다.
• 검색된 사실을 프롬프트에 삽입하여 LLM의 맥락 기반 편집을 수행한다.
• MedQA-USMLE 데이터셋에서 Vicuna-13B 모델을 사용하여 편집을 평가한다.

실험 결과

연구 질문

• RQ1 RQ1: 맥락 기반 사실을 통한 모델 편집이 의학 QA 성능을 향상시킬 수 있는가?
• RQ2 RQ2: 어떤 검색 임베딩 모델(Contriever 대 SapBERT)이 의학 QA를 위한 사실 검색에서 더 나은가?
• RQ3 RQ3: 편집 사실의 수를 다르게 하는 것이 QA 정확도에 어떻게 영향을 미치는가?

주요 결과

• 편집된 Vicuna는 MedQA-USMLE 테스트에서 48.54%의 정확도를 달성하며, 편집 이전 Vicuna의 44.46%를 상회한다.
• Contriever가 SapBERT보다 약간 더 나은 성능을 보이며(48.54% 대 48.07%), 검색 품질이 중요함을 시사한다.
• 편집 사실의 수를 4/8/16으로 늘리는 것이 모델 프롬프트 크기 제약까지 정확도와 긍정적인 상관관계를 보인다.
• 이 방법은 파인튜닝이나 재학습 없이도 BioBERT, SapBERT, QA-GNN과 같은 기준모델 대비 경쟁력 있는 향상을 제공합니다.