[논문 리뷰] Superhuman performance of a large language model on the reasoning tasks of a physician

Peter G. Brodeur, Thomas A. Buckley외 23명|arXiv (Cornell University)|2024. 12. 14.

Clinical Reasoning and Diagnostic Skills인용 수 23

한 줄 요약

논문은 대형 언어 모델의 의료 추론 과제 및 응급실 기반의 이차 의견에서의 성능을 평가하며, 여러 진단 및 관리 추론 과제에서 의사를 능가하는 초인적 성능을 보고합니다.

ABSTRACT

A seminal paper published by Ledley and Lusted in 1959 introduced complex clinical diagnostic reasoning cases as the gold standard for the evaluation of expert medical computing systems, a standard that has held ever since. Here, we report the results of a physician evaluation of a large language model (LLM) on challenging clinical cases against a baseline of hundreds of physicians. We conduct five experiments to measure clinical reasoning across differential diagnosis generation, display of diagnostic reasoning, triage differential diagnosis, probabilistic reasoning, and management reasoning, all adjudicated by physician experts with validated psychometrics. We then report a real-world study comparing human expert and AI second opinions in randomly-selected patients in the emergency room of a major tertiary academic medical center in Boston, MA. We compared LLMs and board-certified physicians at three predefined diagnostic touchpoints: triage in the emergency room, initial evaluation by a physician, and admission to the hospital or intensive care unit. In all experiments--both vignettes and emergency room second opinions--the LLM displayed superhuman diagnostic and reasoning abilities, as well as continued improvement from prior generations of AI clinical decision support. Our study suggests that LLMs have achieved superhuman performance on general medical diagnostic and management reasoning, fulfilling the vision put forth by Ledley and Lusted, and motivating the urgent need for prospective trials.

연구 동기 및 목표

• LLM의 차별 진단 생성, 진단 추론 표출, 선별 차별 진단, 확률적 추론, 관리 추론에 대한 역량 평가.
• 임상 짧은 사례(vignettes)에서 검증된 심리측정법을 사용하여 수백 명의 의사와 LLM의 성능을 비교.
• 주요 진단 접점에서 AI 이차 의견과 인간 전문가를 비교하는 응급실 연구를 통해 실제 적용 가능성을 평가.

제안 방법

• 의사 벤치마크와 대조하여 핵심 임상 추론 과제를 평가하는 다섯 가지 실험을 수행.
• 의사 전문가 및 검증된 심리측정법으로 결과를 판단.
• 선별, 초기 평가, 입원 결정에서 AI와 의사 이차 의견을 비교하는 실제 응급실 연구를 수행.
• 제어된 vignettes 하에서 차별 진단 생성 및 진단 추론을 생성하기 위해 대형 언어 모델을 활용.
• LLM 출력과 표준 임상 추론 과정 간의 정합성를 분석.

실험 결과

연구 질문

• RQ1 도전적인 임상 사례에 대해 대형 언어 모델이 고품질의 차별 진단을 생성할 수 있는가?
• RQ2 LLM이 의사와 비교할 때 진단 추론을 어떻게 표출하고 정당화하는가?
• RQ3 임상 시나리오에서 LLM이 확률적 및 관리 추론을 향상시키는가?
• RQ4 응급실에서 AI 이차 의견이 미리 정의된 접점들에서 인간 이차 의견만큼이나 혹은 더 정확한가?

주요 결과

• LLM은 vignette 기반 평가에서 초인적 진단 및 추론 능력을 보였다.
• LLM은 임상 의사결정 지원 과제에서 이전 AI 세대에 비해 지속적으로 향상된 모습을 보였다.
• 실세계 ER 환경에서 선별, 초기 평가, 입원 결정에서 AI 이차 의견이 의사 벤치마크에 상응하거나 이를 능가했다.
• 다섯 가지 실험에서 LLM은 전문가들이 판정한 핵심 추론 과제에서 의사를 능가했다.
• 본 연구는 의학 의사결정에 있어 LLM의 예비 시험 및 실제 적용 가능성을 지지한다.