[论文解读] Multi-label natural language processing to identify diagnosis and procedure codes from MIMIC-III inpatient notes

Anita Singh, Mounika Guntu+3 more|arXiv (Cornell University)|Mar 17, 2020

Machine Learning in Healthcare参考文献 9被引用 15

一句话总结

本研究提出了一种基于 BERT 的多标签分类模型，用于从 MIMIC-III 住院病历中自动诊断和操作编码，对前 50 个编码实现了 93.76% 的准确率和 92.24% 的 F1 分数。该模型利用在去标识化重症监护病历上微调的 Transformer 嵌入表示，提升了编码效率并减少了临床计费中的错误。

ABSTRACT

In the United States, 25% or greater than 200 billion dollars of hospital spending accounts for administrative costs that involve services for medical coding and billing. With the increasing number of patient records, manual assignment of the codes performed is overwhelming, time-consuming and error-prone, causing billing errors. Natural language processing can automate the extraction of codes/labels from unstructured clinical notes, which can aid human coders to save time, increase productivity, and verify medical coding errors. Our objective is to identify appropriate diagnosis and procedure codes from clinical notes by performing multi-label classification. We used de-identified data of critical care patients from the MIMIC-III database and subset the data to select the ten (top-10) and fifty (top-50) most common diagnoses and procedures, which covers 47.45% and 74.12% of all admissions respectively. We implemented state-of-the-art Bidirectional Encoder Representations from Transformers (BERT) to fine-tune the language model on 80% of the data and validated on the remaining 20%. The model achieved an overall accuracy of 87.08%, an F1 score of 85.82%, and an AUC of 91.76% for top-10 codes. For the top-50 codes, our model achieved an overall accuracy of 93.76%, an F1 score of 92.24%, and AUC of 91%. When compared to previously published research, our model outperforms in predicting codes from the clinical text. We discuss approaches to generalize the knowledge discovery process of our MIMIC-BERT to other clinical notes. This can help human coders to save time, prevent backlogs, and additional costs due to coding errors.

研究动机与目标

• 减少手动医疗编码所耗费的时间和错误率，后者在美国医院年度支出中占比超过 2000 亿美元。
• 解决高容量临床病历文档中手动编码的低效和可扩展性问题。
• 开发一种多标签 NLP 模型，准确地将非结构化临床病历映射到 ICD-10 诊断和操作编码。
• 通过自动化、人工智能辅助的编码支持，提高编码员工作效率并减少计费错误。

提出的方法

• 在去标识化的 MIMIC-III 住院病历上微调基于双向 Transformer 的语言模型（BERT），用于多标签分类。
• 选取诊断和操作编码中频率最高的前 10 个和前 50 个编码，以聚焦于高影响、高频率的编码任务。
• 将数据集按 80% 训练集和 20% 验证集进行划分，以评估模型的泛化能力。
• 在 BERT 嵌入表示上应用序列分类头，对每份病历预测多个标签，将每个编码视为独立的二分类任务。
• 使用 F1 分数和 AUC 指标优化模型性能，并采用早停法和学习率调度策略。
• 应用标签平滑和类别平衡技术，以应对编码频率中的长尾分布问题。

实验结果

研究问题

• RQ1 微调后的 BERT 模型能否在临床病历上有效执行多标签分类，以高准确率预测 ICD-10 诊断和操作编码？
• RQ2 在 MIMIC-III 数据集中，模型在预测前 10 个编码与前 50 个编码时的性能表现有何差异？
• RQ3 该方法在现实医疗环境中在多大程度上可减少手动编码工作量并防止计费错误？
• RQ4 该模型在不同临床病历结构和重症监护记录中的术语多样性下，泛化能力如何？

主要发现

• 对于前 10 个诊断和操作编码，模型实现了 87.08% 的准确率、85.82% 的 F1 分数和 91.76% 的 AUC。
• 对于前 50 个编码，模型达到 93.76% 的准确率、92.24% 的 F1 分数和 91% 的 AUC，表明其在高频编码上具有出色的泛化能力。
• 该模型在从非结构化文本预测临床编码方面优于先前发表的方法，表明其达到了最先进水平的性能。
• 较高的 AUC 分数表明模型在所有编码类别中均能有效区分正样本和负样本。
• 结果表明，基于 BERT 的模型可显著减少手动编码工作量，同时保持高精确率和高召回率。
• 该方法具有可推广性，适用于其他临床病历系统，支持在多样化医疗环境中实现规模化部署。