[논문 리뷰] MEDEC: A Benchmark for Medical Error Detection and Correction in Clinical Notes

Asma Ben Abacha, Wen-wai Yim외 5명|arXiv (Cornell University)|2024. 12. 26.

Electronic Health Records Systems인용 수 8

한 줄 요약

MEDEC는 임상 노트에서 의료 오류를 감지하고 수정하기 위한 최초의 공개적으로 이용 가능한 벤치마크로, 다섯 가지 오류 유형에 걸쳐 오류 탐지, 위치 지정, 수정에 대해 LLM과 의사를 평가합니다.

ABSTRACT

Several studies showed that Large Language Models (LLMs) can answer medical questions correctly, even outperforming the average human score in some medical exams. However, to our knowledge, no study has been conducted to assess the ability of language models to validate existing or generated medical text for correctness and consistency. In this paper, we introduce MEDEC (https://github.com/abachaa/MEDEC), the first publicly available benchmark for medical error detection and correction in clinical notes, covering five types of errors (Diagnosis, Management, Treatment, Pharmacotherapy, and Causal Organism). MEDEC consists of 3,848 clinical texts, including 488 clinical notes from three US hospital systems that were not previously seen by any LLM. The dataset has been used for the MEDIQA-CORR shared task to evaluate seventeen participating systems [Ben Abacha et al., 2024]. In this paper, we describe the data creation methods and we evaluate recent LLMs (e.g., o1-preview, GPT-4, Claude 3.5 Sonnet, and Gemini 2.0 Flash) for the tasks of detecting and correcting medical errors requiring both medical knowledge and reasoning capabilities. We also conducted a comparative study where two medical doctors performed the same task on the MEDEC test set. The results showed that MEDEC is a sufficiently challenging benchmark to assess the ability of models to validate existing or generated notes and to correct medical errors. We also found that although recent LLMs have a good performance in error detection and correction, they are still outperformed by medical doctors in these tasks. We discuss the potential factors behind this gap, the insights from our experiments, the limitations of current evaluation metrics, and share potential pointers for future research.

연구 동기 및 목표

• 임상 노트에서 LLM이 생성하거나 보조한 의학 텍스트의 근거 없는 주장이나 오류를 방지하기 위해 엄격한 검증을 촉진한다.
• 다섯 가지 오류 유형에 걸친 주입된 오류를 포함한 크고 다양한 임상 노트 데이터셋을 생성한다.
• 노트에서 의학적 오류를 탐지, 위치 파악, 수정하기 위한 작업 및 평가 프로토콜을 제공한다.
• 동시대 LLM 및 의학 전문가를 벤치마크하여 격차를 정량화하고 향후 개선을 지도한다.

제안 방법

• 두 소스와 세 개의 미국 병원 시스템에서 3,848개의 임상 텍스트로 MEDEC를 구성하고 다섯 가지 오류 유형(진단, 관리, 치료, 약물치료, 원인 생물)을 다룬다.
• 두 개의 오류 주입 파이프라인이 정확한 노트와 잘못된 노트를 생성합니다; MS (M#1)는 의학 보드 시험 서사를 사용하고, UW (M#2)는 비식별화된 실제 UW 노트에 오류를 주입합니다.
• 세 가지 하위 작업을 정의한다: A) 오류 플래그 예측, B) 오류 문장 추출, C) 수정된 문장 생성.
• 세 가지 하위 작업에 대해 LLM과 두 프롬프트(P#1, P#2)를 평가하고 오류 수정 지표(ROUGE-1, BLEURT, BERTScore, AggregateScore)를 계산한다.
• 동일한 MEDEC 테스트 세트에서 두 의사와의 비교를 통해 모델과 전문가 임상의 간의 격차를 정량화한다.

실험 결과

연구 질문

• RQ1 LLM은 임상 노트에 오류가 포함되어 있는지 신뢰할 수 있게 탐지할 수 있는가?
• RQ2 LLM은 노트에서 오류가 포함된 정확한 문장을 식별할 수 있는가?
• RQ3 LLM은 의학 전문가의 수정과 일치하는 수정된 문장을 생성할 수 있는가?
• RQ4 다섯 가지 오류 유형에 걸쳐 오류 탐지, 위치 지정, 수정에서 LLM이 의학 의사와 어떻게 비교되는가?

주요 결과

• Claude 3.5 Sonnet가 LLM 중에서 가장 높은 오류 플래그 탐지 정확도(70.16%)와 오류 문장 탐지 정확도(65.62%)를 달성했다.
• o1-mini는 오류 플래그 탐지에서 두 번째로 좋다(69.08%).
• 오류 수정에서 최상의 Aggregate Score는 o1-preview(0.698)에 의해 달성되며, GPT-4o 변형들(≈0.639)보다 앞선다.
• 의료 의사는 전반적으로 오류 플래그 및 문장 탐지 정확도에서 LLM보다 우수하며, 의사 #2가 MS/UW 분할에서 각각 0.7161(오류 플래그)과 0.6677(오류 문장)에 도달하고 더 높은 수정 점수를 얻었다.
• 모델 간 탐지 정확도와 수정 품질 간에는 순위 불일치가 있어 평가의 도전과제를 드러내고 임상 텍스트 수정에 대한 개선된 지표의 필요성을 시사한다.
• MEDEC 표면은 프리트레이닝 데이터에서 희귀한 의료 오류 유형에 대한 노출이 제한되고 기존 노트를 처음부터 작성하기보다 편집하는 복잡성으로 인해 모델 성능 차이가 나타나는 것으로 보인다.