[论文解读] Large Language Models for Medical OSCE Assessment: A Novel Approach to Transcript Analysis

Ameer Hamza Shakur, Michael J. Holcomb+6 more|arXiv (Cornell University)|Oct 11, 2024

Global Security and Public Health被引用 4

一句话总结

本研究提出使用大语言模型（LLMs）自动化评估医学学生在客观结构化临床考试（OSCEs）中的沟通技能，特别评估学生是否能从转录的考试访谈中总结患者病史。采用Whisper-v3进行自动语音识别（ASR），并结合前沿LLMs（如GPT-4）采用思维链（chain-of-thought）和检索增强提示（retrieval-augmented prompting）方法，该方法与人工评分者达成高度一致（Cohen’s kappa = 0.88），展现出在医学教育中实现可扩展、低成本OSCE评分并提供可操作反馈的巨大潜力。

ABSTRACT

Grading Objective Structured Clinical Examinations (OSCEs) is a time-consuming and expensive process, traditionally requiring extensive manual effort from human experts. In this study, we explore the potential of Large Language Models (LLMs) to assess skills related to medical student communication. We analyzed 2,027 video-recorded OSCE examinations from the University of Texas Southwestern Medical Center (UTSW), spanning four years (2019-2022), and several different medical cases or "stations." Specifically, our focus was on evaluating students' ability to summarize patients' medical history: we targeted the rubric item 'did the student summarize the patients' medical history?' from the communication skills rubric. After transcribing speech audio captured by OSCE videos using Whisper-v3, we studied the performance of various LLM-based approaches for grading students on this summarization task based on their examination transcripts. Using various frontier-level open-source and proprietary LLMs, we evaluated different techniques such as zero-shot chain-of-thought prompting, retrieval augmented generation, and multi-model ensemble methods. Our results show that frontier LLM models like GPT-4 achieved remarkable alignment with human graders, demonstrating a Cohen's kappa agreement of 0.88 and indicating strong potential for LLM-based OSCE grading to augment the current grading process. Open-source models also showed promising results, suggesting potential for widespread, cost-effective deployment. Further, we present a failure analysis identifying conditions where LLM grading may be less reliable in this context and recommend best practices for deploying LLMs in medical education settings.

研究动机与目标

• 为解决医学教育中人工专家进行OSCE评分耗时且昂贵的问题。
• 探究大语言模型（LLMs）是否能可靠评估医学学生在转录OSCE访谈中沟通技能的表现，特别是病史总结能力。
• 评估不同LLM架构和提示策略在标准化评分表上与人工评分者的一致性表现。
• 识别在医学评估中部署LLMs时的潜在故障模式与伦理风险，并为混合人机评分工作流程提出最佳实践建议。

提出的方法

• 使用Whisper-v3——一种先进的自动语音识别模型——对2019–2022年间录制的2,027段OSCE视频进行转录。
• 聚焦于沟通技能评分标准中的一个项目：'学生是否总结了患者的病史？'
• 应用多种LLM提示技术，包括零样本思维链、检索增强生成和多模型集成方法。
• 评估专有模型（如GPT-4、GPT-3.5）与开源模型（如Mixtral-8x7B、Starling-7B）在与人类专家评分一致性方面的表现。
• 使用Cohen’s kappa衡量LLM输出与人工评分者之间的评分者间一致性，确保可靠性评估。
• 开展故障分析，识别LLM常见错误，如幻觉、提示误解和上下文混淆。

实验结果

研究问题

• RQ1 LLMs能否在OSCE中对医学学生病史总结能力的评分上与人类专家达成高度一致？
• RQ2 不同LLM架构和提示策略（如思维链、检索增强生成）如何影响评分可靠性？
• RQ3 在此情境下，基于LLM的评分主要存在哪些故障模式，如何加以缓解？
• RQ4 在本医学教育场景中，开源LLM在多大程度上能复制专有模型的性能？

主要发现

• GPT-4与人工评分者达成0.88的Cohen’s kappa一致性，表明在病史总结任务上达到实质性至近乎完美的评分一致性。
• 开源LLM如Mixtral-8x7B和Starling-7B表现出良好性能，表明其在医学教育中具备实现低成本、可扩展部署的潜力。
• 检索增强生成和多模型集成方法降低了错误率，尤其有效减少了幻觉和上下文混淆问题。
• LLM最常见的错误包括：幻觉（生成不存在的总结）、提示误解（将症状讨论误标为总结）以及上下文混淆（将诊断解释误分类为总结）。
• 转录质量问题——如背景噪音或录音错误——是影响下游LLM性能的关键上游因素，凸显了在AI评估前进行音频质量验证的必要性。
• 推荐采用混合人机工作流程，即LLM作为初始评分者，人类专家负责审核与优化输出，以确保公平性、透明性，并实现模型的持续改进。