[논문 리뷰] Capabilities of GPT-4 on Medical Challenge Problems

Harsha Nori, Nicholas King외 3명|arXiv (Cornell University)|2023. 03. 20.

Artificial Intelligence in Healthcare and Education인용 수 497

한 줄 요약

본 논문은 USMLE 스타일 시험과 MultiMedQA 벤치마크에서 GPT-4(텍스트 전용)를 평가한 결과, 초기 상태에서도 강한 의학적 추론 능력, GPT-3.5보다 나은 보정, 그리고 주목할 만한 질적 능력을 확인했고, 결과는 GPT-3.5를 상회하고 경쟁력 있는 베이스라인과 비교된다.

ABSTRACT

Large language models (LLMs) have demonstrated remarkable capabilities in natural language understanding and generation across various domains, including medicine. We present a comprehensive evaluation of GPT-4, a state-of-the-art LLM, on medical competency examinations and benchmark datasets. GPT-4 is a general-purpose model that is not specialized for medical problems through training or engineered to solve clinical tasks. Our analysis covers two sets of official practice materials for the USMLE, a three-step examination program used to assess clinical competency and grant licensure in the United States. We also evaluate performance on the MultiMedQA suite of benchmark datasets. Beyond measuring model performance, experiments were conducted to investigate the influence of test questions containing both text and images on model performance, probe for memorization of content during training, and study probability calibration, which is of critical importance in high-stakes applications like medicine. Our results show that GPT-4, without any specialized prompt crafting, exceeds the passing score on USMLE by over 20 points and outperforms earlier general-purpose models (GPT-3.5) as well as models specifically fine-tuned on medical knowledge (Med-PaLM, a prompt-tuned version of Flan-PaLM 540B). In addition, GPT-4 is significantly better calibrated than GPT-3.5, demonstrating a much-improved ability to predict the likelihood that its answers are correct. We also explore the behavior of the model qualitatively through a case study that shows the ability of GPT-4 to explain medical reasoning, personalize explanations to students, and interactively craft new counterfactual scenarios around a medical case. Implications of the findings are discussed for potential uses of GPT-4 in medical education, assessment, and clinical practice, with appropriate attention to challenges of accuracy and safety.

연구 동기 및 목표

• 공식 USMLE 실습 자료(Steps 1-3)와 MultiMedQA 벤치마크 스위트를 대상으로 GPT-4의 성능을 평가한다.
• 제로샷과 소수-shot 프롬프트 하에서 GPT-4를 GPT-3.5 및 공개 베이스라인(예: ChatGPT, Flan-PaLM 540B, Med-PaLM)과 비교한다.
• 미디어 문제, 예측 확률의 보정, 훈련 데이터의 기억 가능성 등의 요인을 분석한다.
• 의학적 추론의 설명 및 대안 시나리오 생성과 같은 질적 능력을 검토한다.
• 의료 교육, 평가 및 임상 실무에 대한 시사점과 안전성 및 정확성 고려사항을 논의한다.

제안 방법

• 정해진 템플릿에 따라 제로샷 및 무작위로 선택된 5-shot 프롬프트를 사용하는 텍스트-전용 GPT-4 모델을 사용한다.
• USMLE 샘플 시험, USMLE Self Assessments, MedQA, PubMedQA, MedMCQA 및 MMLU(의학 구성요소)를 포함한 여섯 개의 의학 데이터 세트에서 평가한다.
• 가능한 경우 GPT-4를 GPT-3.5 및 Flan-PaLM 540B, Med-PaLM의 공개 결과와 비교한다.
• 이미지가 첨부된 문제와 첨부되지 않은 문제의 성능(텍스트-전용 프롬프트)을 평가하고 다지선다형 답변에 대한 확률 추정치를 통해 보정을 분석한다.
• 블랙박스 MELD(Memorization effects Levenshtein detector) 휴리스틱을 통한 기억 여부를 조사하고 데이터 누출 가능성을 논의한다.
• 사고의 사슬(chain-of-thought), 선별된 예시 등 프롬프트 전략의 잠재적 이점과 한계 및 모델 정렬/안전 조정의 영향력을 탐구한다.

실험 결과

연구 질문

• RQ1 공식 USMLE 실전 문제(Steps 1-3)에 대해 GPT-4의 성능은 GPT-3.5 및 다른 의료 LLM 베이스라인과 비교하여 어떠한가?
• RQ2 MultiMedQA 벤치마크 스위트에서 MedQA, PubMedQA, MedMCQA 및 MMLU 전체에 걸친 GPT-4의 성능은 어떠한가?
• RQ3 텍스트만 있는 문제와 이미지가 참조된 문제를 어떻게 처리하며 예측 확률의 보정은 어떠한가?
• RQ4 GPT-4의 출력에서 시험 내용의 기억(memory) 증거가 있는가, 벤치마킹에 대한 시사점은 무엇인가?
• RQ5 GPT-4가 추론을 설명하거나 대화식 대안 시나리오의 의학 사례에서 인터랙티브하게 참여할 때 어떤 질적 능력이 나타나는가?

주요 결과

• GPT-4는 테스트 샘플에서 USMLE 합격 임계값을 20점 이상 초과하고 USMLE 자료에서 GPT-3.5보다 30포인트 이상 높은 성과를 보인다.
• USMLE Self Assessment 및 Sample Exam에서 제로샷 및 5-shot 설정 모두에서 GPT-4가 GPT-3.5보다 현저히 높은 정확도를 달성한다(예: Self Assessment 평균 86.65% for GPT-4 vs. 53.61% for GPT-3.5).
• MultiMedQA 데이터 세트에서 대부분의 작업에서 GPT-4가 GPT-3.5 및 Flan-PaLM 540B를 능가하나, PubMedQA는 일부 베이스라인보다 성능이 더 높지 않은 예외가 있다.
• GPT-4(텍스트-전용)는 모델에 전달되지 않은 매체를 참조하는 문제에서도 강한 성능을 보이며, 텍스트-전용 처리로도 70-80%의 정확도를 달성한다.
• 다지선다형에서 GPT-4는 GPT-3.5에 비해 보정이 훨씬 우수하며, 확률 추정치가 실제 정답 여부를 밀접하게 반영한다(예: 0.96로 예측된 항목이 특정 데이터 포인트에서 93%의 정답 확률과 일치).
• 기본 GPT-4(GPT-4-base)는 여러 데이터 세트에서 정렬된 릴리스 버전보다 3-5 퍼센트 포인트의 이득을 보이며, 정렬 중심의 안전성 조정이 원시 성능에 영향을 미칠 수 있음을 시사한다.