[논문 리뷰] AfriMed-QA: A Pan-African, Multi-Specialty, Medical Question-Answering Benchmark Dataset

Tobi Olatunji, Charles Nimo외 24명|arXiv (Cornell University)|2024. 11. 23.

Topic Modeling인용 수 4

한 줄 요약

AfriMed-QA는 16개 국가에서 32개 전공 분야에 걸쳐 총 15,275道의 질문을 포함한 대규모, 전 아프리카 범위의 다중 전문 분야 의료 질의응답 기준을 제공한다. 다중 선택, 단답형, 소비자 질문 유형을 포함한다. 30개의 대규모 언어 모델(Large Language Models, LLMs)을 평가한 결과, 전공 및 지리적 요인에 따라 성능 차이가 뚜렷하게 나타났으며, 생물의학 전문 모델은 일반 모델보다 성능이 열 劣하고, 일부 경우에 환자 선호도는 LLM의 설명을 임상의의 답변보다 더 선호하는 것으로 나타났다. 다만 일부 사례에서는 환상적 정보나 누락이 존재한다.

ABSTRACT

Recent advancements in large language model(LLM) performance on medical multiple choice question (MCQ) benchmarks have stimulated interest from healthcare providers and patients globally. Particularly in low-and middle-income countries (LMICs) facing acute physician shortages and lack of specialists, LLMs offer a potentially scalable pathway to enhance healthcare access and reduce costs. However, their effectiveness in the Global South, especially across the African continent, remains to be established. In this work, we introduce AfriMed-QA, the first large scale Pan-African English multi-specialty medical Question-Answering (QA) dataset, 15,000 questions (open and closed-ended) sourced from over 60 medical schools across 16 countries, covering 32 medical specialties. We further evaluate 30 LLMs across multiple axes including correctness and demographic bias. Our findings show significant performance variation across specialties and geographies, MCQ performance clearly lags USMLE (MedQA). We find that biomedical LLMs underperform general models and smaller edge-friendly LLMs struggle to achieve a passing score. Interestingly, human evaluations show a consistent consumer preference for LLM answers and explanations when compared with clinician answers.

연구 동기 및 목표

• 낮고 중간 수입 국가(Low- and Middle-Income Countries, LMICs), 특히 아프리카에서의 대표성 있는 의료 LLM 기준의 부족을 해결하기 위해.
• 지역 의료 지식, 언어적 다양성, 아프리카 대륙 전역의 임상적 맥락을 반영한 다양한 대규모 의료 QA 데이터셋을 구축하기 위해.
• 정확도, 인구 통계적 편향, 인간 선호도 등 여러 축을 기반으로 30개의 LLM 성능과 공정성 평가하기 위해.
• 특히 소외된 지역에서 실제 임상 맥락에서 LLM이 임상의 수준의 추론 능력을 충족하거나 초월할 수 있는지 평가하기 위해.
• 의료 인력 부족이 심한 환경에서 공정하고 지역적으로 관련성이 있는 AI 도구 개발을 위한 기반 마련하기 위해.

제안 방법

• 16개 아프리카 국가의 60개 이상의 의과 대학에서 15,275건의 의료 질문을 수집하였으며, 32개 전공 분야를 포함한다.
• 질문을 다중 선택 질문(MCQs), 단답형 질문(SAQs), 소비자 질문(CQs)으로 분류하고 전문가가 검토한 정답과 추론 과정을 제공한다.
• 1,430개의 MCQ에 대해 임상의가 익명으로 평가한 방식으로 정확도, 환상, 누락, 해로움 여부를 기반으로 30개의 LLM을 평가하였다.
• 임상의의 평가를 통해 모델의 응답이 정확도, 환상, 누락, 잠재적 해로움 여부를 평가하였다.
• 다양한 축(전공, 지리, 모델 유형: 생물의학 전문형 대비 일반형, 개방형 대비 비개방형)을 기반으로 성능 변동성을 평가하기 위한 다축 평가 프레임워크를 적용하였다.
• 모델 간 성능 비교 및 편향, 정확도, 선호도 패턴을 규명하기 위해 통계 분석을 실시하였다.

실험 결과

연구 질문

• RQ1 LLM이 MedQA나 USMLE와 같은 기존 기준과 비교해 전 아프리카 다중 전문 분야 의료 QA 기준에서 어떻게 성능을 내는가?
• RQ2 아프리카 내 의료 전공 및 지리적 지역 간 성능 변동의 정도는 어떠한가?
• RQ3 생물의학 전문 LLM이 아프리카 의료 맥락에서 임상 추론 과제에서 일반 목적 LLM보다 뛰어나게 성능을 내는가?
• RQ4 임상의 답변과 비교해 LLM이 생성한 답변이 환상, 누락, 해로운 내용을 얼마나 포함하고 있는가?
• RQ5 오류가 존재함에도 불구하고 소비자 선호도가 LLM의 설명을 임상의의 답변보다 더 선호하는가?

주요 결과

• LLM의 성능은 전공에 따라 크게 차이가 나며, 산부인과 분야에서 가장 낮은 성능(평균 정확도 4.62/5)을 보였고, 의학 유전학 분야에서 가장 높은 성능(5.00/5)을 기록했다.
• Med-PaLM2와 MedLM과 같은 생물의학 전문 LLM은 GPT-4와 Llama3-70B와 같은 일반 목적 모델보다 성능이 열 劣하며, 더 높은 정확도와 낮은 환상 비율을 기록했다.
• Phi-3-mini와 Mistral-7B와 같은 소형, 엣지 기반 LLM은 MCQ에서 통과 점수를 확보하지 못해 자원이 제한된 환경에서의 추론 능력에 한계가 있음을 시사한다.
• 더 높은 오류율에도 불구하고 인간 평가자들은 항상 LLM의 설명을 임상의의 답변보다 선호하였으며, 특히 명확성과 완전성 측면에서 뛰어났다.
• 임상의 평가 결과, 산부인과 분야에서 LLM 응답의 11.36%와 내과 분야에서 10.64%가 관련 정보 누락을 보였고, 각각 8.70%와 7.59%는 환상을 포함하였다.
• Mixtral-8x7B-Instruct-v0.1은 아프리카 현지 전문 지식 분야에서 가장 높은 누락 비율(11.11%)을 보였고, Llama3-OpenBioLLM-70B는 이 분야에서 가장 높은 해로움 비율(28.57%)을 기록했다.