[论文解读] Negation detection in Dutch clinical texts: an evaluation of rule-based and machine learning methods

Bram van Es, Leon C. Reteig+6 more|arXiv (Cornell University)|Sep 1, 2022

Topic Modeling被引用 4

一句话总结

本研究使用埃拉斯谟医疗中心荷兰临床语料库，评估了基于规则和机器学习方法在荷兰语临床笔记中的否定检测。biLSTM 和 RoBERTa 基础模型显著优于基于规则的方法（ContextD），在各个领域中的 F1 分数均超过 0.95，表明尽管计算成本更高，深度学习模型在荷兰语临床否定检测中更为有效。

ABSTRACT

As structured data are often insufficient, labels need to be extracted from free text in electronic health records when developing models for clinical information retrieval and decision support systems. One of the most important contextual properties in clinical text is negation, which indicates the absence of findings. We aimed to improve large scale extraction of labels by comparing three methods for negation detection in Dutch clinical notes. We used the Erasmus Medical Center Dutch Clinical Corpus to compare a rule-based method based on ContextD, a biLSTM model using MedCAT and (finetuned) RoBERTa-based models. We found that both the biLSTM and RoBERTa models consistently outperform the rule-based model in terms of F1 score, precision and recall. In addition, we systematically categorized the classification errors for each model, which can be used to further improve model performance in particular applications. Combining the three models naively was not beneficial in terms of performance. We conclude that the biLSTM and RoBERTa-based models in particular are highly accurate accurate in detecting clinical negations, but that ultimately all three approaches can be viable depending on the use case at hand.

研究动机与目标

• 通过评估不同的否定检测方法，提升从自由文本荷兰语电子健康记录（EHR）中大规模提取标签的性能。
• 解决结构化 EHR 数据在临床决策支持系统中常缺乏精确性和可靠性的问题。
• 比较基于规则的方法（ContextD）与两种机器学习方法（biLSTM 模型（MedCAT）和 RoBERTa 基础模型（RobBERT））的性能。
• 系统性地对分类错误进行归类，以指导未来模型的改进。
• 评估将三种模型通过朴素集成方法结合是否能提升整体性能。

提出的方法

• 使用埃拉斯谟医疗中心荷兰临床语料库作为评估否定检测方法的基准数据集。
• 采用 ContextD 实现基于规则的方法，该方法应用超过 400 个预定义的正则表达式模式来识别否定触发词。
• 使用 MedCAT 训练双向长短期记忆（biLSTM）模型，以在上下文中对医学术语是否被否定进行分类。
• 在荷兰语临床文本上对 RoBERTa 基础模型（RobBERT）及其领域适应变体（MedRoBERTa.nl）进行微调，用于序列分类。
• 在四种 EHR 文本类型上评估模型：出院记录、全科医生记录、放射科报告和专科医生信件。
• 通过消融研究评估序列长度（32 与 512 个标记）和微调策略对模型性能的影响。

实验结果

研究问题

• RQ1 基于规则和基于机器学习的否定检测方法在荷兰语临床笔记中的 F1 分数、精确率和召回率方面如何比较？
• RQ2 与通用领域 RoBERTa 相比，领域特定的预训练（如 MedRoBERTa.nl）在多大程度上提升了否定检测性能？
• RQ3 将最大序列长度从 512 个标记减少到 32 个标记，是否显著影响模型性能，同时降低计算成本？
• RQ4 通过朴素集成方法将三种模型（基于规则、biLSTM、RoBERTa）结合，能否提升整体性能？
• RQ5 每种模型中最常见的错误模式是什么，这些模式如何为未来模型优化提供指导？

主要发现

• biLSTM 和 RoBERTa 基础模型在所有文本类型中均显著优于基于规则的 ContextD 方法，F1 分数均超过 0.95。
• 基于 RoBERTa 的模型（MedRoBERTa.nl）在出院记录中取得 0.974 的 F1 分数，在放射科报告中为 0.957，在专科医生信件中为 0.925。
• 将最大序列长度从 512 减少到 32 个标记仅对性能产生轻微负面影响，大多数情况下 F1 分数下降不足 0.01。
• 领域适应的预训练（MedRoBERTa.nl）相比通用领域 RobBERT 模型带来了微小但一致的性能提升。
• 微调整个 RoBERTa 模型的性能显著优于仅微调最后全连接层，后者性能与基于规则的方法相当。
• 通过朴素集成方法将三种模型结合并未提升性能，反而不如单独的 RoBERTa 和 biLSTM 模型。