[論文レビュー] MEDEC: A Benchmark for Medical Error Detection and Correction in Clinical Notes

Asma Ben Abacha, Wen-wai Yim+5 more|arXiv (Cornell University)|Dec 26, 2024

Electronic Health Records Systems被引用数 8

ひとこと要約

MEDEC は、臨床ノートで医療エラーを検出・訂正する最初の公開ベンチマークであり、エラー検出、局在化、訂正を 5 種類のエラータイプに跨って LLM と医師を評価します。

ABSTRACT

Several studies showed that Large Language Models (LLMs) can answer medical questions correctly, even outperforming the average human score in some medical exams. However, to our knowledge, no study has been conducted to assess the ability of language models to validate existing or generated medical text for correctness and consistency. In this paper, we introduce MEDEC (https://github.com/abachaa/MEDEC), the first publicly available benchmark for medical error detection and correction in clinical notes, covering five types of errors (Diagnosis, Management, Treatment, Pharmacotherapy, and Causal Organism). MEDEC consists of 3,848 clinical texts, including 488 clinical notes from three US hospital systems that were not previously seen by any LLM. The dataset has been used for the MEDIQA-CORR shared task to evaluate seventeen participating systems [Ben Abacha et al., 2024]. In this paper, we describe the data creation methods and we evaluate recent LLMs (e.g., o1-preview, GPT-4, Claude 3.5 Sonnet, and Gemini 2.0 Flash) for the tasks of detecting and correcting medical errors requiring both medical knowledge and reasoning capabilities. We also conducted a comparative study where two medical doctors performed the same task on the MEDEC test set. The results showed that MEDEC is a sufficiently challenging benchmark to assess the ability of models to validate existing or generated notes and to correct medical errors. We also found that although recent LLMs have a good performance in error detection and correction, they are still outperformed by medical doctors in these tasks. We discuss the potential factors behind this gap, the insights from our experiments, the limitations of current evaluation metrics, and share potential pointers for future research.

研究の動機と目的

• LLMs によって生成または支援された医療テキストの厳密な検証を推進し、臨床ノートの幻覚やエラーを防ぐ。
• 5種類のエラータイプに跨る injected エラーを含む、臨床ノートの大規模で多様なデータセットを作成する。
• ノート内の医療エラーを検出、局在化、訂正するためのタスクと評価プロトコルを提供する。
• 現代の LLM と医療専門家をベンチマークし、ギャップを定量化して将来の改善を導く。

提案手法

• 以下の内容で MEDEC を構築する。2つのソースと3つのUS病院システムから3,848 の臨床テキストを用い、5種類のエラータイプ（Diagnosis, Management, Treatment, Pharmacotherapy, Causal Organism）を網羅する。
• 二つのエラー注入パイプラインは正しいノートと誤りのノートを作成する；MS (M#1) は医療委員会試験の語りを用い、UW (M#2) は実際の UW ノートに匿名化を施してエラーを注入する。
• 三つのサブタスクを定義する：A) error flag prediction、B) error sentence extraction、C) corrected sentence generation。
• 三つのサブタスクに対して LLMs と2つのプロンプト（P#1, P#2）を評価し、エラー訂正指標（ROUGE-1, BLEURT, BERTScore, AggregateScore）を算出する。
• 同じ MEDEC テストセット上で LLM の性能を2名の医師と比較し、モデルと専門臨床医の間のギャップを定量化する。

実験結果

リサーチクエスチョン

• RQ1 LLMs は臨床ノートにエラーが含まれているかを信頼性高く検出できるか。
• RQ2 LLMs はノート中でエラーを含む正確な文を特定できるか。
• RQ3 LLMs は医療専門家の訂正と一致する修正済みの文を生成できるか。
• RQ4 5種類のエラータイプにわたるエラー検出、局在化、訂正において、LLMs は医師とどのように比べるか。

主な発見

• Claude 3.5 Sonnet は LLM の中で最も高い error-flag 検出精度（70.16%）および error-sentence 検出精度（65.62%）を達成。
• o1-mini は error-flag 検出で2番目に高い（69.08%）。
• エラー訂正では、Aggregate Score が最も高いのは o1-preview（0.698）、GPT-4o 系（≈0.639）より先んじる。
• 医師は全体として error-flag および sentence-detection 精度で LLM を上回り、MS/UW 分割で Doctor #2 が 0.7161 (error flag) および 0.6677 (error sentence) に達し、訂正スコアも高い。
• モデル間で検出精度と訂正品質の順位が一致せず、評価の課題と臨床テキスト訂正の指標改善の必要性を浮き彫りにしている。
• MEDEC 表面は、事前学習データにおける希少な医療エラータイプへの露出制限と、スクラッチでドラフトするより既存ノートを編集する方が複雑であることにより、モデルの性能ギャップを示している。