[논문 리뷰] Large Language Models for Medical OSCE Assessment: A Novel Approach to Transcript Analysis

Ameer Hamza Shakur, Michael J. Holcomb외 6명|arXiv (Cornell University)|2024. 10. 11.

Global Security and Public Health인용 수 4

한 줄 요약

이 연구는 의과 학생들의 의사소통 능력 평가를 자동화하기 위해 대규모 언어 모델(Large Language Models, LLMs)을 활용하는 것을 제안한다. 특히, 기록된 시험 인터뷰에서 환자의 병력 요약 능력을 평가하는 데 초점을 맞추고 있다. ASR로 Whisper-v3를 사용하고, 체인 오브 쓰로트(Chain-of-Thought) 및 리트리ieval 증강 프롬프팅을 적용한 최신 LLMs(예: GPT-4)를 활용한 접근 방식은 인간 평가자와 높은 일치도를 보였으며, 코HEN의 카파 계수 = 0.88로, 확장 가능하고 비용 효율적인 OSCE 평가 및 실질적인 피드백 제공 가능성을 입증하였다.

ABSTRACT

Grading Objective Structured Clinical Examinations (OSCEs) is a time-consuming and expensive process, traditionally requiring extensive manual effort from human experts. In this study, we explore the potential of Large Language Models (LLMs) to assess skills related to medical student communication. We analyzed 2,027 video-recorded OSCE examinations from the University of Texas Southwestern Medical Center (UTSW), spanning four years (2019-2022), and several different medical cases or "stations." Specifically, our focus was on evaluating students' ability to summarize patients' medical history: we targeted the rubric item 'did the student summarize the patients' medical history?' from the communication skills rubric. After transcribing speech audio captured by OSCE videos using Whisper-v3, we studied the performance of various LLM-based approaches for grading students on this summarization task based on their examination transcripts. Using various frontier-level open-source and proprietary LLMs, we evaluated different techniques such as zero-shot chain-of-thought prompting, retrieval augmented generation, and multi-model ensemble methods. Our results show that frontier LLM models like GPT-4 achieved remarkable alignment with human graders, demonstrating a Cohen's kappa agreement of 0.88 and indicating strong potential for LLM-based OSCE grading to augment the current grading process. Open-source models also showed promising results, suggesting potential for widespread, cost-effective deployment. Further, we present a failure analysis identifying conditions where LLM grading may be less reliable in this context and recommend best practices for deploying LLMs in medical education settings.

연구 동기 및 목표

• 의료 교육 분야에서 전문가가 수작업으로 OSCE를 평가하는 데 소요되는 시간과 비용 문제를 해결하기 위해.
• 대규모 언어 모델(LLMs)이 의과 학생들의 의사소통 능력, 특히 병력 요약 능력을 전사된 OSCE 인터뷰 기반으로 신뢰성 있게 평가할 수 있는지 조사하기 위해.
• 표준화된 평가 척도에 따라 다양한 LLM 아키텍처 및 프롬프팅 전략이 인간 평가자와 얼마나 일치하는지 평가하기 위해.
• LLM을 의료 평가에 도입할 때 발생할 수 있는 실패 유형과 윤리적 리스크를 파악하고, 하이브리드 인간-AI 평가 워크플로우를 위한 최선의 실천 방안을 제안하기 위해.

제안 방법

• 2019~2022년 기간 동안 기록된 2,027개의 OSCE 인터뷰 영상을 Whisper-v3를 사용해 전사 처리했다. Whisper-v3는 최신 수준의 자동 음성 인식(Automatic Speech Recognition, ASR) 모델이다.
• 의사소통 능력 평가 항목 중 '학생이 환자의 병력 요약을 했는가?'를 중심으로 분석하였다.
• 제로샷 체인 오브 쓰로트, 리트리ieval 증강 생성, 다중 모델 앙상블 기법 등 다양한 LLM 프롬프팅 기법을 적용하였다.
• 상용 모델(GPT-4, GPT-3.5 등)과 오픈소스 모델(Mixtral-8x7B, Starling-7B 등)을 대상으로 인간 전문가와의 평가 일치도를 평가하였다.
• LLM 출력 결과와 인간 평가자 간의 상호 평가자 일치도를 측정하기 위해 코HEN의 카파 계수를 사용하여 신뢰도를 평가하였다.
• LLM 오류의 주요 원인을 분석하기 위해 실패 분석을 수행하였으며, 주요 문제로는 환상 생성, 프롬프트 오해, 맥락 혼동 등이 포함되었다.

실험 결과

연구 질문

• RQ1 LLM은 의과 학생들의 OSCE 병력 요약 능력 평가에서 인간 전문가와 높은 일치도를 달성할 수 있는가?
• RQ2 체인 오브 쓰로트, 리트리ieval 증강 생성 등 다양한 LLM 아키텍처 및 프롬프팅 전략이 평가 신뢰도에 어떤 영향을 미치는가?
• RQ3 이러한 맥락에서 LLM 기반 평가의 주요 실패 유형은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 오픈소스 LLM은 이 의료 교육 환경에서 상용 모델의 성능을 어느 정도 재현할 수 있는가?

주요 결과

• GPT-4는 인간 평가자와 코HEN의 카파 계수 0.88을 기록하여 병력 요약 작업에서 중간에서 거의 완벽한 일치도를 보였다.
• 오픈소스 LLM인 Mixtral-8x7B와 Starling-7B 역시 유망한 성능을 보였으며, 의료 교육 분야에서 비용 효율적이고 확장 가능한 도입 가능성을 시사한다.
• 리트리ieval 증강 생성 및 다중 모델 앙상블 방법은 환상 생성 및 맥락 혼동을 줄이며 오류율을 감소시켰다.
• 가장 흔한 LLM 오류는 환상 생성(존재하지 않는 요약 생성), 프롬프트 오해(증상 논의를 요약으로 잘못 인식), 맥락 혼동(진단 설명을 요약으로 잘못 분류)이었다.
• 음성 품질 문제(예: 배경 소음, 녹음 오류 등)는 LLM 성능에 영향을 미치는 주요 원인으로 나타났으며, 이는 AI 평가 이전에 음성 품질 검증이 필수적임을 시사한다.
• 공정성, 투명성 및 지속적인 모델 개선을 확보하기 위해, LLM이 초보 평가자 역할을 하며 인간 전문가가 결과를 검토하고 보완하는 하이브리드 인간-AI 평가 워크플로우를 권장한다.