[論文レビュー] Large Language Models for Medical OSCE Assessment: A Novel Approach to Transcript Analysis

Ameer Hamza Shakur, Michael J. Holcomb+6 more|arXiv (Cornell University)|Oct 11, 2024

Global Security and Public Health被引用数 4

ひとこと要約

本研究では、大規模言語モデル（LLM）を用いて、客観的構造化臨床試験（OSCE）における医学生の対話スキルの評価を自動化することを提案する。具体的には、録音された試験面接の音声を文字起こししたデータから、学生が患者の医学的病歴を要約したかどうかを評価する。Whisper-v3を用いたASRと、チェーン・オブ・チーオブやリtrieval増強プロンプティングを用いた先端的LLM（例：GPT-4）を活用したアプローチは、人間の採点者と高い一致を示し（Cohenのカッパ = 0.88）、スケーラブルでコスト効率の良いOSCE採点と、実行可能なフィードバック提供の強力な可能性を示している。

ABSTRACT

Grading Objective Structured Clinical Examinations (OSCEs) is a time-consuming and expensive process, traditionally requiring extensive manual effort from human experts. In this study, we explore the potential of Large Language Models (LLMs) to assess skills related to medical student communication. We analyzed 2,027 video-recorded OSCE examinations from the University of Texas Southwestern Medical Center (UTSW), spanning four years (2019-2022), and several different medical cases or "stations." Specifically, our focus was on evaluating students' ability to summarize patients' medical history: we targeted the rubric item 'did the student summarize the patients' medical history?' from the communication skills rubric. After transcribing speech audio captured by OSCE videos using Whisper-v3, we studied the performance of various LLM-based approaches for grading students on this summarization task based on their examination transcripts. Using various frontier-level open-source and proprietary LLMs, we evaluated different techniques such as zero-shot chain-of-thought prompting, retrieval augmented generation, and multi-model ensemble methods. Our results show that frontier LLM models like GPT-4 achieved remarkable alignment with human graders, demonstrating a Cohen's kappa agreement of 0.88 and indicating strong potential for LLM-based OSCE grading to augment the current grading process. Open-source models also showed promising results, suggesting potential for widespread, cost-effective deployment. Further, we present a failure analysis identifying conditions where LLM grading may be less reliable in this context and recommend best practices for deploying LLMs in medical education settings.

研究の動機と目的

• 医学教育分野における人間の専門家によるOSCE採点の時間と費用の問題を解決すること。
• 大規模言語モデル（LLM）が、特に病歴要約スキルに関して、医学生の対話スキルを信頼性を持って評価できるかどうかを調査すること。
• 標準化された評価基準に従って、さまざまなLLMアーキテクチャとプロンプティング戦略の、人間の採点者との整合性を評価すること。
• LLMを医療評価に導入する際の失敗モードと倫理的リスクを特定し、ハイブリッド人間-AI採点ワークフローのベストプラクティスを提言すること。

提案手法

• 2019年から2022年までの2,027件のOSCE面接動画を、最先端の音声認識モデルであるWhisper-v3を用いて文字起こしした。
• コミュニケーションスキル評価項目の一つに焦点を当てた：「学生は患者の医学的病歴を要約したか？」
• ゼロショット・チェーン・オブ・チーオブ、リトリーブ増強生成、マルチモデルアンサンブル手法を含む、多数のLLMプロンプティング技術を適用した。
• 採点の一貫性を人間の専門家と比較するために、プロpriエイティブモデル（例：GPT-4、GPT-3.5）とオープンソースモデル（例：Mixtral-8x7B、Starling-7B）を評価した。
• LLMの出力と人間の採点者との間の相互評価者間一致度を測定するため、Cohenのカッパを用い、信頼性の評価を実施した。
• LLMの一般的な誤り（幻覚、プロンプトの誤解、文脈的混乱）を特定するためのフェイルチャーム分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 LLMは、医学生のOSCEにおける病歴要約スキルの評価で、人間の専門家と高い一致を達成できるか？
• RQ2 チェーン・オブ・チーオブやリトリーブ増強生成などの異なるLLMアーキテクチャとプロンプティング戦略が、採点の信頼性にどのように影響するか？
• RQ3 この文脈におけるLLMベースの採点の主な失敗モードは何か。それらはどのように緩和できるか？
• RQ4 オープンソースLLMは、この医学教育分野において、プロプライエタリーモデルの性能をどの程度再現できるか？

主な発見

• GPT-4は人間の採点者とCohenのカッパ0.88の一致を示し、病歴要約タスクにおいて中程度からほぼ完璧な一致を示した。
• オープンソースLLM（例：Mixtral-8x7B、Starling-7B）は有望なパフォーマンスを示し、医学教育分野におけるコスト効率の良いスケーラブルな展開の可能性を示唆した。
• リトリーブ増強生成とマルチモデルアンサンブル手法は、誤り率を低下させ、特に幻覚や文脈的混乱の低減に寄与した。
• LLMの最も一般的な誤りは、存在しない要約を生成する「幻覚」、症状の議論を要約と誤認する「プロンプトの誤解」、診断説明を要約と誤分類する「文脈的混乱」であった。
• 音声の品質問題（背景ノイズや録音エラーなど）は、LLMの下流性能に影響を与える主要な要因であり、AI評価の前段階として音声品質の検証が不可欠であることを示した。
• LLMを初期採点者として活用し、人間の専門家が出力をレビュー・精練するハイブリッド人間-AIワークフローの導入を推奨する。これにより、公平性、透明性、継続的なモデル改善が保証される。